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前 言 


本 书 是 为 略 知 数学 规划 或 对 之 不 甚 知晓 但 数学 基础 较 好 的 人 
所 编写 的 ， 取 材 难免 会 受到 作者 的 偏好 的 影响 ， 尽 管 如 此 ， 在 纺 
写 的 过 程 中 还 是 比较 注意 到 材料 的 基础 性 、 系 统 人 性 和 连贯 性 ， 注 
意 吸 收 当今 的 ， 特 别 是 作者 自己 的 研究 成 果 和 学 习 心得 ; 注意 指 
出 产生 结果 的 本 质 所 在 以 及 各 章节 之 间 的 相互 联系 ， 同 时 还 注意 
到 有 关 理 论 的 应 用 性 ; 希望 用 较 小 的 篇 幅 来 包含 尽 可 能 多 的 思想 
和 内 容 ， 以 使 读者 对 进一步 的 学 习 和 研究 产生 兴趣 或 有 所 启迪 . 
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第 一 部 分 “线性 规划 


第 一 章 ”基本 概念 各 基本 性 质 


§1.1 引言 


线性 规划 的 中 心 论题 是 求 线性 函数 在 线性 等 式 或 不 等 式 约束 
下 达 最 小 或 最 大 值 的 问题 

试看 一 个 简单 的 例子 ， 

例 1.1 基 厂 生产 甲 , 乙 两 种 同类 产品 ; 


单位 产品 利润 
问 如 何 安排 生产 使 总 利润 最 多 ? 
设 生产 甲 、. 乙 各 为 zyzs 件 , 则 
max 5zl 十 37zs s =7500 
s.t. zi+zs<3500 、 
Tl 扫 1500 
5z1 二 2x;<<10000 
2 
其 中 “s.+. "为 英文 “subject to” 的 缩 
写 , 表 示 “ 受 限制 于 ”. 
从 图 1,1 中 可 以 看 出 (其 中 阴影 


部 分 表示 变量 的 取 值 范围 ,虚线 是 * 一 5zi 十 3zs 的 等 高 线 ),s 的 值 
从 零 连 续 变化 增加 到 12500, 因此 ,顶点 (1000,2500) 是 最 优 解 ,最 
大 利润 * 一 12500. 

线性 规划 最 基本 的 性 质 是 在 顶点 达到 极 值 . 通过 代数 的 方法 
描述 高 维 空间 “有 关 图 形 ” 的 顶点 ,然后 使 用 经 济 的 方法 求 出 达到 
极 入 的 顶点 ,这 是 线性 规划 的 重要 内 容 ， 

1947 年 ,G. B. Dantzig 提出 了 解 线性 规划 的 单纯 形 法 ,线性 规 
划 这 门 学 科 开 始 形成 并 迅速 发 展 . 这 主要 是 由 于 实践 中 的 大 量 优 
化 问题 可 以 归结 为 线性 规划 , 另 一 方面 也 由 于 它 的 方法 的 有 效 性 . 

关于 线性 规划 的 综合 材料 ,可 参见 文献 L4,11,24,25]. 


8$1.2 线性 规划 的 基本 概念 


1. 标准 型 
线性 规划 的 标准 型 如 下 ， 
min cz 十 czzz 十 …… 十 crzn 
(LP) 3,t, az1 十 aazrz 十 TazTs = 


dviT1T azsTs 二 "二 aonTn = Ds 


QT1 TT mts 二 "二 drm Tn = im 
X00 Tr 人 0 
用 紧凑 的 矩阵 .向 黄 记 号 ,CLP) 就 是 
min eTx 
st. Azr=b 
X20 
其 中 c 和 为 n 维 列 向 量 ,6b 为 m 维 列 向 量 ,A4 为 mXn 有 阶 阵 ,zx 之 0 
表示 x 的 每 个 分 基 均 非 负 ， 
记 4 一 (eye ma 其 中 必 表 4 的 第 了 7 列 , 则 (LP)? 亦 可 表 
为 


min crz 
往 。 十。 > 工 /Ci 一 在 
Zzj220， j=1y2,"** yn 
在 讨论 中 ,我 们 视 方便 选用 以 上 任 一 种 形式 ,并 称 crz 为 目标 函 
数 , 称 Az= 二 56,z 之 0 为 约束 , 称 


X= {rAr = br 0} (1. 1) 
为 (LP) 的 可 行 集 . 由 此 ,问题 还 可 以 描述 为 
min c7x 


对 于 标准 型 , 若 无 特别 声明 , 则 约定 以 下 假设 成 立 ， 
(1) m<n; 

(i) A 的 秩 为 m; 

(ii) 50. 


2. 转化 为 标准 型 


我 们 能 够 指出 ,任何 一 种 线性 规划 问题 皆 可 等 价 地 转化 为 标 
准 型 . 因此 ,在 一 般 的 讨论 中 我 们 只 考虑 标准 型 . 以 下 只 列 出 一 些 
常见 的 情况 . 


情况 一 min cTz 
s.t. Az<b 
X20 
引进 松弛 变量 y= 二 (yy,… ,ym)7 ,可 得 等 价 的 
min cz 
s.t, Ar+ly=6 
ZO0,y 守 0 
对 应 于 标准 型 的 阵 为 (4,7.), 对 应 的 目标 函数 系数 为 [人] Re， 
变量 为 六 十 2 个， 


情况 二 ”车 情况 一 中 有 4zrzzb, 其 余 不 变 , 则 有 


min cz 和 
8.t. Ar—Iy=b 
Tr 之 0, yD 
上 面 的 y 称 为 剩余 变量 ， 
情况 三 ”如果 在 某 个 线性 规划 问题 中 ,对 一 部 分 变量 不 要 求 
非 负 约 东 外 , 它 是 用 标准 形式 给 出 的 . 例如 不 限 x+ 之 0, 此 时 的 za 
称 为 自由 变量 . 可 以 记 
TI 人 0 
并 且 相 应 于 (LP) ,目标 函数 cz 及 等 式 约束 中 的 zi 均 以 一 wi 我 
入 , 非 负 约束 成 为 W220 ;0 T2992To 之 0; 变量 个 数 为 nn 十 1. 
情况 四 “目标 函数 求 极 大 的 情况 
max cx 
s,t, Ax=b 
区 之 0 
可 以 化 为 等 价 的 
min 一 cr 
s.t, Azx=b 
Zz 让 0 
例 1.2 例 '1.1 中 的 规划 可 利用 情况 一 .四 化 为 等 价 的 


min — 57x1— 3xz 


§. t. zl! 十 Xs 十 证 3 一 3500 
rl 十 24 一 1500 
Bx1 十 27z 十 .5 一 10000 


20， zz 一 1 2 3 4 5 


3. 基本 可 行 解 
前 节 中 ,我 们 考 窒 到 线性 规划 的 最 优 解 在 顶点 处 达到 . 为 从 伐 


数 的 角度 来 研究 它 ,我 们 引 人 下 述 概念 . 


考虑 方程 组 1 
4xz 一 五 (1.2) 


其 中 4A 是 秩 为 m 的 mXn 阶 阵 . 令 B 表 由 A 的 列 组 成 的 任意 
mX 欧 阶 非 异 子 阵 ,对 应 的 z 的 分 量 记 为 za. 即 有 下 标 六 ,7 …， 
jr 1 人 jn 使 B= 二 (a; say， ya;,) 非 异 , 且 记 ra== (zj ,Xj 
x ). 则 可 由 Bzs 一 6 唯一 地 解 出 xs 二 B 也 
定义 1.3 令 B8 表 示 由 A 的 列 所 组 成 的 任意 mXm 阶 非 异 子 
阵 , 令 不 与 B 对 应 的 4 一 mz 个 zz 的 分 最 都 为 零 . 这 样 得 到 的 方程 组 
(1, 2 的 解 , 称 为 该 方程 组 关于 基 B 的 基本 解 , 对 应 于 B 的 各 列 的 
x 的 分 量 称 为 共 本 变量 ,其 余 的 分 量 称 为 非 基本 变量 . 
现在 ,我 们 在 (1.2) 中 加 入 非 负 约束 ,得 
1AT=b 
了 之 0 
定义 1.4 称 满 足 (1, 3) 的 解 为 该 约 东 的 可 行 解 . 当 可 行 解 + 
关于 4z 一 户 又 是 基本 解 , 则 称 它 为 基本 可 行 解 .对 给 定 的 基本 可 
行 解 zx, 若 它 有 六 个 分 量 大 于 堆 , 则 称 z 为 非 退 化 的 基本 可 行 解 . 
否则 称 为 退化 的 基本 可 行 解 , 基本 可 行 解 所 对 应 的 基 称 为 下 行 基 . 
显然 ,对 应 于 基 B 的 基本 解 为 基本 可 行 解 的 充 要 条 件 为 
Bib 完 0 
基本 可 行 解 是 线性 规划 中 最 重要 的 概念 , 现在 ,我 们 能 够 指 
出 ,基本 可 行 解 与 对 应 的 约 东 (1, 3) 组 成 的 图 形 的 项 点 是 等 价 的 ， 
为 此 ， 
定义 1.5 称 尺 中 一 个 子 集 吃 为 凸 集 , 若 对 Y x,yE DN,Y 0: 
0<6<1, 都 有 


《1.37 


Or 二 WyeEn 

形象 地 说 , 凸 集中 任意 两 点 间 的 连 线 都 在 该 集 之 中 , 容易 由 定 
义 验证 ,线性 规划 之 可 行 集 (1.1) 为 凸 集 . 

定义 1.6 凸 集 从 中 的 点 xz 称 为 0 的 顶点 (或 称 极点 }, 如 果 
不 存在 只 中 的 两 个 相 异 的 点 y 和 xz, 使 得 对 于 某 个 8:0<<8<<1 有 
T=0y+ (1—z. 

定理 1.7( 顶 点 和 基本 可 行 解 的 等 价 性 ) zz 为 X={z:Azr= 
6b,7 实 0} 的 顶点 的 充 要 条 件 是 x+ 为 (1. 3) 的 一 个 基本 可 行 解 . 


证 不 妨 设 zz 一 (ri…yzn0…0)7 是 (1.3)7 的 一 个 基本 可 
行 解 .对 应 的 基 为 首 m 列 . 于 是 
210 十 22ky 十 十 Twam 一 二 
其 中 a,，… ,a 是 线性 无 关 的 , 假定 有 y,zE 叉 ,使 得 对 某 个 8 有 
z=0y+ {1 Mz 00<1 
由 于 y,z 的 所 有 分 景 均 非 负 , 立 得 y 和 z 的 后 n 一 m 个 分 时 都 为 
零 . 此 时 对 应 地 有 
yi 十 yz02 十 "十 ymin = 
gi41 十 zz2Cz 十 …… 十 zuitm 一 在 
由 人 1 9 sm 的 线性 无 关 性 ,只 有 X=Yy=%. 故 为 XxX 的 顶点 ， 
反之 , 设 工 为 天 的 一 个 硬 点 . 设 工 的 非 堆 分 量 为 首 上 个 分 量 . 
于 是 
Tim 十 XA 十 ' 十 a= 二 六 《1. 4) 
其 中 z>0,1 二 1,… ;我 们 只 须 证 a1,… ,ai 线性 无 关 即 可 . 事实 
上 ，, 若 alyazi…y 是 线性 无 关 的 , 删 在 E=m 时 工 是 非 退 化 的 基本 
可 行 解 1 在 上 xm 时 , 因 A 之 秩 为 m, 则 可 从 4 的 余下 的 za 一 下 个 列 
中 找 出 x 一 二 个 列 , 使 之 与 a1 ,02，… ,a 一 起 组 成 一 个 基 , 令 z 的 相 
应 的 mz 一 个 分 量 为 零 ; 这 样 得 到 一 个 退化 的 基本 可 行 解 ， 
今 假定 a1 ,a;,… ,om 是 线性 相关 的 ,于 是 存在 不 全 为 零 的 y， 
1 一 1 使 得 “ 
Jal 十 yi 十 十 3 一 个 (1. 5) 
记 y= 《yx909 呈 0)7ER'; 则 由 《1.4) 和 (01.5) 知 有 有 ACzx 土 
Ey) 二 Bp,Y 2; 又 ,可 选 得 s 关 0 使 
ZX 十 ey 之 0 上 且 xX 一 ey 守 0 
总 之 就 有 z 士 syEX. 于 是 从 


z= 到 Cr 十 ey) 十 于 — ey) 
知 z 不 是 区 的 顶点 ,这 与 原 设 矛盾 . 这 个 矛盾 说 明了 a ,424，… ;a 
是 线性 无 关 的 , 证 毕 ， 
例 1.8 写 出 例 1.2 的 约束 ,并 画 出 关于 基本 下 行 解 的 对 应 


"fe 


的 图 ,我 们 发 现 它 与 图 1. 1 相 重合 , 


Zz 十 xs 二 za 一 3500 
起 1 十 zy 一 1500 
5 十 2z2 十 zs 一 10000 


Xi 之 0,i 一 1,2,3,4,5 
图 1.2 中 的 每 条 边 对 应 于 一 个 为 零 
变量 ,而 顶点 是 某 两 个 变量 同时 为 零 
所 得 . 计算 得 
A={0,0,3500,1500,10000) 
B= (1500,0,2000,0,2500) 
C=(1500,1250,750,0,0) 
D= (1000,2500,0,500,0) E=(0,3500,0,1500,3000) 
它们 都 是 非 授 化 的 基本 可 行 解 . 注意 ,还 有 一 些 基本 和 解 图 中 未 标 
出 ,它们 是 不 可 行 的 ， 


8$ 1.3 线性 规划 的 基本 定理 


以 下 ,我们 只 考虑 标准 型 

(LP) min czrx 
s.t, Ar=p 
IT0 

定义 1.9 目标 函数 在 约 东 的 假定 下 达到 极 小 的 可 行 解 称 最 
优 解 . 若 这 个 解 还 是 基本 解 , 则 称 之 为 有 最 优 基 本 可 行 解 . 

定理 1. 10{《 线 性 规划 的 基本 定理 ) 对 于 线性 规划 的 标准 型 
(LP), 其 中 及 为 mxXn 阵 , 秩 为 mx, 有 

(i) 若 存 在 一 个 可 行 解 , 则 必 存 在 一 个 基本 可 行 解 ; 

(ii) 车 存在 一 个 最 优 解 , 则 必 存 在 一 个 最 优 基 本 可 行 解 . 

证 证 明 是 构造 性 的 . 假定 zx 是 可 行 (或 最 优 ) 解 . 设 z 有 个 
分 量 大 于 替 ,不 芒 设 首 上 个 . 于 是 有 


TQ 十 Ta 十 十 rar = 二 上 (1.6) 
若 a1;4，*…,as 是 线性 无 关 的 , 则 根据 (1. 4) 以 下 的 一 段 论述 知 结 
论 已 得 ;3 砍 下 设 cwi 线性 相关 . 于 是 又 有 
3aal 十 ya 十 人 十 ya 一 0 (1.7) 
其 中 %*i1，… 渤 是 不 全 为 零 的 一 组 数 ,不妨 设 其 中 有 一 为 正 . 
(i) 设 z 为 可 行 解 .由 (1.7)? 减 去 (1.6) 的 e 倍 得 
《zl 一 80 二 十 (x 一 sey) = (1. 8) 
令 y= yi304 呈 10) ,由 (1. 8) 推 知 z 一 sy 满 是 方程 Ax 一 5. 
为 保持 可 行 性 , 令 
e= min{x/yi= 1, ,kA > 0) (1, 9) 
这 样 ,xz 一 &y 中 至 多 只 有 一 1 个 分 量 不 为 零 . 必要 时 重复 这 一 过 
程 , 最 后 得 到 的 可 行 解 其 正 分 量 所 对 应 的 4 中 的 列 线性 无 关 . 
” (ij) 设 z 为 最 优 解 . 在 (i) 的 证 明 的 基础 上 补 证 目标 函数 值 不 
变 即 可 , 即 证 
cir 一 ey) 二 crx 或 cy 一 00 
由 于 六 >>0, 一 1 …,K 故 对 足够 小 的 |s| 天 0 有 z 士 ey 之 0, 从 而 可 
知 z 土 sy 对 (LP)? 可 行 .再 据 z 的 最 优 性 得 到 
cr—ey)c zr = ec yO 
crtey) cr 之 ec y0 
从而 推 及 czy 一 0. 证 毕 . 
基本 定理 告诉 我 们 : 若 已 知 (LP) 有 最 优 解 , 则 寻找 其 最 优 解 . 
只 要 在 基本 可 行 解 中 寻 搁 即 可 . 易 知 基本 可 行 解 的 个 数 至 狗 为 
C7" ,这 就 导致 求解 线性 规划 的 穷 举 法 , 我 们 用 下 面 的 例子 说 明 ， . 
例 111 考虑 例 1,2, 易 知 其 可 行 集 是 非 空 的 有 界 闭 集 , 故 其 
有 最 优 解 . 根据 基本 定理 ,将 基本 可 行 解 分 别 代 和 人 其 目标 函数 中 ， 
例 1.8 的 A,B,C,D,E 中 以 也 所 对 应 的 目标 值 为 最 小 , 放 DD 为 最 
优 解 . 回复 到 例 1. 1,z= (1000,2500) 是 它 的 最 优 解 . 
对 于 一 个 给 定 的 线性 规划 问题 ,理论 上 我 们 已 能 求 出 一 个 最 


“Br" 


优 解 ,如 果 最 优 解 存在 的 话 , 下 一 个 定理 本 质 上 给 出 了 全 部 最 优 
解 .证 明 可 参见 文献 [24] ,但 氢 述 已 经 修正 . 

定理 1. 12( 全 部 最 优 解 的 给 出 ) 设 标准 型 线性 规划 (LP) 的 
所 有 最 优 基 本 可 行 解 为 

zr I ye sD) 
并 设 (LP) 的 最 优 解 集 有 界 , 则 为 (LP) 的 最 优 解 的 充 要 条 件 是 它 
可 以 表 成 上 面 一 一 组 解 的 凸 组 合 , 妈 
z = VAr®, %>0 有 4 一 1 


i=1 


$1.4 实际 应 用 的 例子 


线性 规划 可 以 用 来 解决 科学 研究 .工程 设计 .活动 安排 .军事 
指挥 ,经济 规划 ,经 营 管理 等 方面 提出 的 大 量 问 题 . 此 处 仅 举 两 例 
说 明 . 
例 1.13( 饮 食 问题 一 个 大 的 军队 的 饮食 可 能 会 提出 这 样 
的 问题 ;假定 市 场 上 可 以 买 到 几 种 不 同 的 食品 ,第 j 种 食品 的 单价 
为 cj3j 二 1 另外 有 和 种 营养 成 分 , 设 每 天 必须 供应 第 ;种 营 
养 成 分 至 少 为 包 单 位 ,i 二 1,…,m. 再 假定 第 j 种 食品 每 单位 含有 
第 :种 营养 为 um 个 单位 . 问 如 何在 满足 基本 营养 的 条 件 下 购买 食 
品 耗资 最 少 ? 
设 zj 为 第 j 种 食品 购买 的 单位 数 , 则 
min ci 十 caza 十 … 十 con 
(购买 食品 耕 资 最 少 ) 
“St，21121 十 ba 十 十 Gants 机 


GmT1 + Am2Ts 二 "二 Qn Tn bm 
(应 满足 基本 的 营养 供给 》 
10,T2 守 0 0 
(购买 食品 数 均 为 非 负 ) 


用 短 阵 及 向 量 的 形式 来 写 ( 其 中 4,pscyz 自明 ), 即 
min cz7 工 
s.t. Az 守 5 
工 之 0 
例 1. 14( 运 输 问 题 ) 某 种 产品 设 有 m 个 产地 ,产量 分 别 为 
alsazs""* yam? 有 销 地 个 ,销量 分 别 为 如 ,bo，… ,如 . 设 将 产品 从 第 i 
个 产地 运 到 第 j 个 销 地 的 单位 运输 成 本 为 cj, 对 应 的 运输 晤 为 
Zij(i 二 1 m5j 二 1 9m). 问 如 何在 满足 销量 的 情况 下 设计 运输 
方案 使 运费 最 低 ? 
min 3 Dery 


i=1 j=1 


《所 花 的 总 运费 最 少 ) 


8.£, Dzy 一 0， 1 二 ls 1 


jl 


(各 地 发 出 的 其 等 于 产量 ) 


Db j= be 
(满足 各 销 地 的 需要 ) 
0 一 1 一 1 
( 运 出 或 收 到 的 量 均 非 负 ) 
读者 不 难看 出 这 是 标准 型 线性 规划 . 另外 ,根据 模型 的 具体 构 


造 有 


> = > 《1, 10) 
即 发 出 的 总 量 与 收 到 的 总 量 相 局 . 
习 题 


1. 化 下 述 问题 为 标准 型 并 求解 


sl1O" 


max 34 十 47z 十 和 3 
5.t. 2 一 27z 十 二 44 
I 一 区: 一 】 
Ty» T1220 
2, 求 出 
min x 二 zxs Sr 
9.+4. Zi 十 Tz 十 完 :二 1 
Tl» Tas TI0 
的 全 部 解 , 并 在 居中 画 出 约束 集 和 标 出 全 部 解 ， 
3. 将 下 面 的 线性 规划 化 为 标准 型 
min err 
3.t. Ar=b 
Td 
其 中 dE€ 庆 , 目 4 关 0, 即 qd 的 分 晤 不 全 为 零 . 
4. 某 食 品 商店 生产 两 种 精 果 . 第 一 种 每 僵 获 利 40 分 ,第 二 种 每 低 获 利 50 
分 . 制作 过 程 主要 是 混合 . 京 调 .包装 三 种 工作 . 下 乾 为 每 印 糖 果 在 制作 过 程 
中 所 需要 的 平均 时 间 , 以 分 钟 计算 ， ， 


论 合 京 调 包装 
第 一 种 1 分 5 分 3 分 
第 二 种 2 分 4 分 1 分 


湿 合 设备 每 天 至 多 只 能 用 12 机 器 小 时 , 京 调 设 备 每 天 至 多 只 能 用 30 机 器 小 
时 ,包装 设备 每 天 至 多 只 能 用 15 机 贬 小 时 . 问 如 何 安 排 生产 获 利 最 大 ? 作 图 以 
求 其 解 ， 

5. 假定 标准 线性 规划 (LP) 的 约束 集 是 非 空 的 ,又 假定 它 的 目标 函数 在 
可 行 集 多 上 是 下 有 界 的 , 则 (LP}) 必 有 最 优 解 . 

6, 如 果 有 zz 个 m 维 向 量 ,n 之 m, 而 且 这 x 个 向 量 中 的 任 音 m 个 都 线性 先 
关 , 则 称 这 个 向 量 满 足 Haar 条 件 , 试 证 约束 4r 一 b,x 之 0 中 , 若 4 的 列 向 量 
及 5 这 十 1 个 向 量 满 足 Haar 条 件 ,对 应 之 线性 规划 没有 退化 的 基本 可 行 解 ， 

7, 假定 有 = 个 人 ,种 工作 ,不 同 的 人 被 分 派 作 丰 同 的 工作 . 设 第 ;个 人 
做 第 了 种 工作 须 支 出 cj. 间 怎 样 分 派 这 些 人 的 工作 使 总 支出 最 少 ?( 仅 建立 模 
型 ) 

提示 : 令 z; 表 第 i 个 人 做 第 j 种 工作 .定义 

as 11 ， 


1 着 第 ;个 人 做 第 了 种 工作 ， 
2 140, 着 第 :个 人 不 做 第 ;种 工作 . 
8. 利用 某 类 钢板 下 m 种 零件 的 毛料 , 设 在 一 块 钢板 上 已 设计 出 种 不 
同 的 下 料 方式 ; 设 第 j 种 下 料 方式 中 可 下 得 第 i 种 零件 a 个 . 设 第 i 种 零件 之 
所 需 量 为 总 个 ,建立 噬 满 足 需要 又 使 所 用 的 钢板 总 数 为 最 少 的 数学 模型 


aa 12。 


第 二 章 单纯 形 法 


基本 定理 告诉 我 们 ,最 优 解 可 以 在 基本 可 行 解 里 寻找 . 但 找 出 
全 部 基本 可 行 解 , 然 后 检验 谁 为 最 优 , 当 x 很 大 同时 m 适量 时 , 运 
算 量 极为 可 观 . 事实 上 ,一 旦 给 出 某 个 基本 可 行 解 , 则 我 们 没有 必 
要 再 去 考虑 那些 使 目标 值 变 大 的 基本 可 行 解 ,而 是 从 现 有 的 基本 
可 行 解 出 发 去 构造 使 目标 值 变 小 的 基本 可 行 解 .单纯 形 法 就 是 基 
于 这 种 思想 的 计算 方法 . 

本 章 的 所 有 讨论 都 是 针对 标准 型 线性 规划 (LP) 的 .， 


$2.1 单纯 形 法 的 基本 理论 


本 节 , 我 们 从 计算 的 角度 来 推导 单纯 形 法 的 基本 理论 ， 请 注意 
各 小 节 的 假设 条 件 . 


1l. 求 基本 解 的 迁 代 法 


基本 可 行 解 必 须 是 基本 解 . 要 牢固 地 掌握 单纯 形 法 ,必须 先 搞 
清 基 本 解 的 迭代 求法 . 

考虑 方程 组 

4 一 已 《2, ]) 

其 中 4 为 mXn 阶 阵 , 秩 为 m,m<<n. 任意 取 定 4 的 和 个 线性 无 关 
列 , 不 妨 设 为 首 台 列 , 记 吾 一 (ayayan)y 出 (2 1) 可 化 为 等 价 
的 方程 组 

B Az = Bb 《2. 2) 
将 (2. 2)7 的 系数 列 成 表 , 并 以 yyi 二 1 sm;j 二 1,…s# 记 B71 有 A 
的 第 fy 元 ;以 Yiori—= 1 2 记 BY 的 第 i 元 , 则 有 


1 0 0 Ofl Weha Ya Yio 
0 1 oo 0 Jr oa on Yo 
” ., 《2. 3) 


0 0 1 wmnfl yn Yo Vino 

相应 的 基本 解 就 是 (yoyyaoy…，*3may0,…,0)7, 其 中 对 应 的 变量 

XisT294 sm 是 基本 变量 ,其 余 的 是 非 基 本 变量 . 
设 已 给 出 标准 化 方程 组 (2. 3). 假定 要 把 其 中 的 一 个 基本 变量 
变 为 非 基本 变 重 , 同 时 将 一 个 非 基本 变量 变 为 基本 变量 . 比如 说 要 
将 非 基 本 变量 rs 代 蔡 某 个 基本 变量 z ,1 扫 I 生 mm, 当 且 仅 当 天 0 
时 才能 做 到 这 一 点 .具体 的 做 法 是 : 先 用 yu 去 除 (2. 3) 的 第 /1 行 , 则 
其 第 7 ,元 变 为 1, 然 后 再 使 (2. 3) 中 第 大 列 其 余 的 元 化 为 零 . 用 

Hi=1 mj=0,1 "4 表 新 方程 之 系数 , 则 

= ym = 01 sn 
He 四 

《2. 4) 


y= ot = 0,1,""",n 


容易 验证 ,这 一 变换 除了 (2. 3) 中 的 第 /1 列 外 ,不 影响 其 它 基 
本 变量 对 应 的 列 , 而 第 天 列 已 化 为 第 ! 个 元 为 1 的 m 维 单位 列 向 
量 . 在 新 的 标准 方程 组 的 系数 阵 中 能 够 写 出 新 的 基本 解 ,其 最 后 列 
对 应 于 新 的 基本 变量 ,但 次 序 已 有 变动 : 

【300 sno Os to Yor Os OO yos O09" 0) 

其 中 % 对 应 于 新 的 基本 变量 xi. 这 样 我 们 实现 了 一 步 基本 变量 的 
转移 . 原 方程 组 (2. 3) 中 的 元 ya 叫做 主 元 . 这 种 运算 称 取 主 运算 . 
第 列 称 为 进 基 向 量 ,第 / 列 称 为 离 基 向 量 . 

例 2.1 写 出 例 1. 2 中 对 应 于 4Az=5 的 系数 阵 , 即 


杨 始 鹤 
1 py pe | 证 Ts 
1 1 1 0 0 3500 
1 0 0 1 0 1500 
5 (2) 0 . 0 1 10000 


它 已 是 (2. 3) 的 形式 . 从 上 震中 读 出 基本 解 (0,0,3500,1500， 


14" 


10000). 表 中 《> 所 标 出 的 是 我 们 取 的 主 元 , 即 用 zs 代替 zs 作为 基 
本 变量 . 利用 (2. 4) 计 算得 下 表 , 同 时 括 出 下 一 个 主 元 . 


第 一 表 

《一 372》 0 1 0 —1/2 ”一 1500 

1 [0 息 1 0 1500 

5/2 1 自 [0 1/2 5000 

基本 解 为 (0,5000, 一 1500,1500,0), 用 zl 代 兰 zs, 得 

第 二 表 

1 0 —2/3 [0 1/3 1000 

站 C 273 1 一 173 500 

自 1 .5/3 0 1/6 2500 


基本 解 为 (1000,2500,0,500,0). 将 上 述 结 果 与 例 1.8 中 的 条 1. 2 相 
对 照 , 知 上 选 代 在 图 中 的 行进 路 线 为 4 一 > 严 -> 姜 , 


2. 求 基本 可 行 解 的 选 代 法 


我 们 已 经 知道 在 研究 标准 型 线性 规划 时 仅 需 考 虚 约束 

4z 一 6 

TT 守 0 
的 基本 可 行 解 , 前 一 节 的 论述 说 明了 取 主 运算 能 由 一 个 旧 基 产生 
新 基 , 新 的 基本 解 仍 可 由 变换 了 的 表 (2. 3) 表 述 . 一般 说 来 ,任意 指 
定 一 组 基 8, 对 应 于 4Ar=6 的 基本 和 解 未 必 潢 足 非 负 人 性 .已 经 指出 ， 
欲 对 应 于 基 B 的 基本 解 对 (2. 5) 是 可 行 的 即 B 为 可 行 基 ( 见 定义 
1.4); 当 且 仅 当 B75 之 0. 这 一 节 我 们 指出 ,在 给 定 一 组 基本 可 行 
解 的 情况 下 ,如 何 通过 取 主 运算 来 得 到 一 组 新 的 基本 可 行 解 , 即 如 


(2. 5) 


何 选择 进 基 变 最 x 和 离 基 变量 z. 
仍 写 出 标准 方程 组 的 增 广 阵 
Ql ba … Gutl be Ge 在 
A 0 0 yat Mmte Yn Yo 
0 1 了 0 nt at Ym Ye (2. 6) 


0 0 站 1 Dmmtl Ynmra Dm Vd 


表 的 最 上 行 我 们 现在 用 4 的 列 和 2 来 表示 ,因为 现在 需要 强调 列 
向 量 之 间 的 关系 . 为 使 新 基本 解 为 可 行 即 要 求 变换 后 的 五 列 各 元 
皆 非 负 ,在 (2.4) 中 令 7 一 0 得 变换 后 前 (2.6) 之 巨 询 为 


y= yi — Dyast = 1 mi 
， 2 (2.7) 
[i 
nk 
已 知 yw 之 0 二 1,… ,mm; 欲 使 坟 守 0,i 二 1,…,m. 由 (2.7) 之 第 二 
式 可 以 看 出 一 般 应 取 yn>0, 即 对 应 于 & 的 列 中 主 元 应 为 一 个 正 
数 . 其 次 考 岂 ;天 六 由 (2.7) 之 第 一 式 可 看 出 
车 yx 所 0, 则 恒 有 罗 芒 0; 
车 jy 守 0; 则 化 w 这 0, 应 选 1EL; 
T= {fyn/ ys = Min yo/ yu = 1 ya 0} (2,8) 


注意 ,如 果 集 合 I 的 元 多 于 一 个 (这 种 情况 有 的 书 中 称 之 为 
平局 或 平 结 ), 此 时 i 的 选择 不 唯一 . 变换 (2. 4) 必 有 然 会 导致 退化 的 
基本 可 行 解 , 这 表现 在 在 变换 后 的 (2.6) 中 对 应 于 565 列 的 元 有 为 零 
者 . 


我 们 用 例 来 说 明 上 面 的 方法 . 
例 2,2 重新 写 出 例 2. 1 中 的 初始 表 
初 给 囊 
al | az ay 24 as b 
1 《1y 1 [0 0 3500 
1 0 0 1 0 1500 
5 2 0 0 1 10000 


现行 的 基本 可 行 解 为 (0,0,3500,1500,;10000), 今 选 a; 进 基 , 计 算 
有 关 比 值 3500/1,10000/2, 选 取 非 负数 中 的 最 小 者 ,其 对 应 于 第 一 
行 , 故 取 1 为 主 元 , 表 中 已 括 出 ,用 as 代替 wm 进 基 ,新 表 为 
第 一 胡 
1 1 1 0 各 3500 


1 0 1500 
《37 0 一 2 0 1 3000 


基本 可 行 解 为 (0,3500,0,1500,3000), 再 选 al 进 基 , 表 中 已 括 出 主 
元 , 进一步 得 


| 第 二 表 
0 1 5/3 0 一 1/3 2500 
0 0 2/3 1 一 173 500 
1 0 一 273 0 173 1000 


基本 可 行 解 为 (1000,2500,0,500,0). 读者 可 以 看 出 此 例 对 应 于 例 
1. 8 中 图 1. 2 的 进程 为 4->E*D. 

在 表 (2, 6) 中 , 若 某 a 列 中 无 正 的 元 ,我 们 自然 不 选 mw 进 基 ， 
但 这 种 情况 是 有 特殊 意义 的 : 它 表 示 (2. 6) 所 对 应 的 方程 组 (2. 5) 
的 可 行 解 集 无 界 . 效 证 如 下 : 

依 (2. 6) 的 记号 ,有 


Yio01 十 yzo0z 十 … 十 moGm 二 上 , (2.9) 
类 似 地 ,在 (2. 6) 中 避 列 与 5 列 有 相似 的 地 位 , 故 亦 有 
yua 二 yalz 十 四 二 ymanm = 0 《2. 10) 


将 (2. 9) 减 去 (2. 10) 的 上 倍 , 整 理 得 
(yi10 一 EVR 十 … 十 (oo 一 Eymi)aw 十 ea = Bb (2.11) 
因 a 列 中 各 元 短 非 正 并 且 诸 yw 管 非 负 ,上 式 表 明 对 Y s 之 0， 
Cy10 一 Ey sym 一 symi0 90sE,05 0) 《2. 12) 
其 中 分 量 对 应 于 必 的 位 置 ,都 是 (2. 5) 的 解 . 从 而 证 明了 (2. 5) 
的 解 集 无 界 . 
总 之 , 设 已 有 了 一 个 基本 可 行 解 , 则 可 通过 取 主 运算 得 到 新 的 
基本 可 行 解 ;或 能 知道 问题 的 可 行 解 集 是 无 界 的 , 且 得 到 了 形 如 
《2. 12) 的 可 行 解 . 


3. 基本 可 行 解 的 改进 


上 节 中 选择 的 进 基 向 量 w 仍 带 有 一 定 的 殖 意 性 . 本 节 , 我 们 
指出 如 何 按 一 定 的 规则 确定 进 基 向 量 w 来 得 到 一 个 新 的 基本 可 
行 解 ,局 时 使 目标 函数 值 下 降 ( 至 少 不 增 ); 或 者 确定 目标 函数 在 可 
行 集 上 是 无 下 界 的 (当然 ,对 应 的 线性 规划 就 没有 最 优 解 ). 


假定 已 知 基 本 可 行 解 为 


T= (yoryg0r synos Os 0)T 


对 应 的 增 广 阵 应 是 
At Uz adr Um 1 人 mi 十 了 四 Ue b 
ll 0 oe 0 yn Ymts Ys Yio 
0 1 0 yn yants oo Jar 320 (2. 13) 
Cm 0 0 四 1 Damstl Yamt2 Jim Jon 


应 于 任 一 可 行 解 ,目标 机 数值 为 
s= Cr = rt crs tt cr, (2, 14) 
对 应 于 现行 的 基本 可 行 解 的 目标 函数 值 为 
3 一 Cy 十 Cao 十， 十 cymo 
即 表 (2. 13) 中 总 列 各 元 与 附加 的 c 列 各 对 应 元 乘积 之 和 . 另 一 方 
面 , 对 于 任 一 可 行 解 卫 一 〔T1ya go yn 交 ,利用 (2， 13) 容 易 写 出 、 
Xl 三 Yo > YT 


J=m+1 


rw = J Py sf 
1 > 人 《2. 15) 


将 (2 15) 代 人 (2. 14) 并 利用 的 表达 式 ， 我 们 得 到 任意 目标 函数 
值 * 与 原 目 标 函 数值 so 之 间 的 一 种 关系 ， 

一 5 十 《co+rl 一 zonerl 十 沪 十 (一 2 (2.16) 
其 中 


=- Pew 了 一 12 十 工 … 


人 主治 上 上 式 中 之 是 用 C2. 19) 中 的 。 风 和 元 与 第 j 列 的 和 
对 应 元 的 乘积 取 和 而 得 ,因此 可 以 定义 


Zi = Cjs J 一 ] ,7 


从 而 (2. 16) 亦 可 表 为 
3 一 50 十 Dy te 一 Zi)zi 《2. 17》 
了 1 


并 且 对 于 给 定 的 一 组 基本 可 行 解 及 对 应 的 表 (2. 13),so,zj, j= 二 1， 
sn 都 已 确定 . 它们 与 变量 上 无 关 ， 

我 们 将 已 有 的 讨论 总 结 为 以 下 诸 定理 . 

定理 2. 3( 判 别 定 理 ) 若 对 一 个 基本 可 行 解 ,有 

cj 一 Zz 0, j= 1,2,n 《2. 18) 

则 此 基本 可 行 解 为 最 优 解 ， 

证 让 xz 在 可 行 集 内 任意 变动 ,由 工 的 非 负 性 以 及 条 件 
(2. 18) 结 合 \2. 17) 知 5 过 s%，* 故 现行 的 基本 可 行 解 为 最 优 解 . 

判别 定理 的 一 个 逆 命 题 在 $2.5 中 给 出 . 

定理 2. 4( 基 本 可 行 解 的 改进 ) ”如 果 对 于 某 一 基本 可 行 解 , 有 
某 上 使 一 2<0. 若 对 应 于 (2. 13? 第 大 列 各 元 中 有 大 于 等 者 , 则 将 
as 作为 进 基 向 量 所 得 的 新 基本 可 行 解 的 目标 函数 值 同 原 目标 函数 


”和 值 相 比 不 增 . 


证 设 新 基本 可 行 解 为 
(T1 9 T2900 Tm 090 0s T1050 ,0)T 
对 应 于 (2. 13) ,其 中 zx,x，,"…' ,zs 中 离 基 向 量 对 应 的 元 为 零 . 注意 
到 zz0, 由 (2. 16) 得 
5 一 2 十 人 一 中 0) 有 的 30 

证 毕 . 

若 在 上 式 中 有 >>0, 列 得 y<<so 于 是 我 们 给 出 

非 退 化 性 假定 4z 一 bz 之 0 的 任 一 基本 可 行 解 都 有 m 个 严 
格 为 正 的 分 量 ， 

推论 2.5 在 非 退 化 性 假定 下 ,定理 2. 4 结论 中 之 “不 增 * 可 改 
进 为 “严格 下 降 ”, 并 且 定 理 2. 3 的 逆 也 成 立 . 

定理 2.6 如 果 对 某 一 基本 可 行 解 ,有 某 记 使 6 一 xz 过 0, 车 对 
应 于 (2. 13) 的 第 记 列 的 各 元 久 非 正 数 , 则 问题 的 目标 函数 在 可 行 
集 上 是 无 下 界 的 . 


证 考虑 到 由 (2.12) 所 确定 的 一 组 可 行 解 
(yi0 一 Ey143 °° Ym0 一 Eymis03° 03€0,. ,0)7 
其 中 z= 二 8, 此 时 对 应 于 (2,16) 就 有 
5 一 5 十 (cs — Zi)E 

由 条 件 及 (2,12) 下 面 的 一 段 话 知 < 可 任意 大 . 再 考虑 到 条 件 ci 一 
之 0 知 结论 为 真 . 证 毕 . 

从 以 上 的 论证 可 以 看 到 cj 一 zj;j 一 1,*… sn 有 特殊 的 意义 . 记 

rj= CO— zsf = ls," sn 

并 称 之 为 判别 数 . 应 该 注意 到 ,对 于 一 般 的 标准 型 线性 规划 (LP)， 
判别 数 由 c,4 和 基 B 一 意 决 定 , 并 且 对 应 于 夫 本 变量 的 判别 数 缘 
为 零 . 

称 判别 数 演 非 负 时 所 对 应 的 可 行 基 为 最 优 基 . 

定理 2. 3 说 明了 一 个 现行 的 基本 可 行 解 何 时 为 最 优 . 定理 2. 6 
说 明了 目标 函数 在 可 行 集 上 何 时 无 下 界 . 定理 2. 4 说 明了 一 个 现行 
的 基本 可 行 解 何 时 可 以 得 到 改进 . 线性 规划 的 单纯 形 潜 就 是 以 这 
三 个 定理 为 基础 的 , 因此 它们 是 单纯 形 淮 的 基本 理论 . 


$2.2 单纯 形 法 


在 前 几 节 中 ,我 们 已 经 建立 了 推导 单纯 形 法 的 理论 和 技巧 , 这 
里 ,我 们 只 要 将 它们 联系 起 来 便 可 得 到 线性 规划 的 单纯 形 方 法 . 我 
们 先 建 立 单纯 形 表 ,给 出 手 算 的 例子 ,然后 再 给 出 单纯 形 法 一 般 算 
法 的 描述 , 
单纯 形 表 的 初始 形式 如 下 , 仍 设 前 m 列 为 基 . 


a dz Um rm +1 ZEm 十 2 Cn 


Yomt1 Jumt+2 2 3 (2.19) 
Vmt+1 Ym,mt+2 Ym Ym 
fm 十 1 Cu 过 we 0 


"= OD Cntl—Satl Cut2—%n+2 “ Ca— Zr™— So 


与 此 表 相 应 的 基本 可 行 解 为 (yyya，…3uos0，…"0)7. 表 中 最 末 
行 有 ?个 判别 数 . 右 下 角 为 现行 的 目标 值 加 负 号 . 对 照 (2. 16) 及 % 
的 表达 式 , 最 末 行 可 以 这 样 得 到 :将 最 左 列 的 c: 与 各 对 应 行 相 乘 ， 
再 用 最 后 第 二 行 依次 减 去 相 老 后 的 各 行 即 得 . 其 实 ,我 们 可 以 去 掉 
表 (2. 19) 中 之 最 左 列 , 只 要 将 最 后 第 二 行 依次 减 去 其 上 各 行 的 适 
当 的 倍数 , 且 使 对 应 于 基本 变量 的 判别 数 为 零 则 可 . 这 样 得 

a ds "dm Ca+1 Cs aee Qs b 

1 0 0 yat Wats Yn je 

0 1 0 erl am Ym Ye (2. 20) 


0 0 1 Fmtl Vuemt2 nr Yt 


站 0 0 rm+1 rmt+2 "er. Ta 一 0 
对 展 上 表 中 最 末 行 判别 数 , 如 果 j 之 0,j 二 1,…,n, 则 现行 的 解 为 


最 优 ,最 优 值 为 %. 否则 目标 值 可 以 改进 ,或 确定 目标 函数 无 下 界 ， 
设 由 (2. 20) 经 过 了 一 次 取 主 运算 ,第 上 列 进 了 基 同 时 第 : 列 


， 离 了 基 ,1 志 /所 m. 于 是 可 从 新 建立 的 (2. 19) 表 求 得 一 组 新 判别 


数 ,从 而 得 到 新 的 (2. 20) 表 . 用 人 旧 (2. 20) 中 的 符号 加 一 撒 表 示 新 
《2.20) 衣 中 对 应 的 符号 . 类 似 于 (2.16) 中 = 之 定义 式 , 有 


rij 二 Ci Dyas 一 01 《2. 21) 
i=1 


r=cj— ( De 十 cy] ;7 = O01 n (2. 22) 
i=1 
[Ea 

注意 ,在 上 两 式 中 我 们 取 7 一 0 且 令 co 一 0, 得 区 二 一 50, 芒 二 一 芭 . 利 
用 (2.4) 由 (2. 22) 计 算得 


NY Vy 
=o | Ce 5 一 加 gj 十 a 加 ] 
i i 之 i ya ty 

i 
一. 要 Vy | 冯 | 
一 《一 如 有 一 yy; Cz — 
i [> 3 ya 十 ‘ys 


21" 


一 [一 Ze 一 Ye — Peiys) 


于 是 就 有 
= yr f= 01 on (2. 23) 

与 (2.4) 相 比 便 知 (2. 23) 提 供 了 由 rj 计算 x 的 简便 方法 . 注意 到 
由 (2. 23) 直 接 得 到 性 一 0, 手 算 时 的 实施 法 则 是 ,将 旧 (2. 20) 表 的 
最 末 行 减 去 新 (2. 20) 表 的 第 2 行 的 适当 的 倍数 ,使 得 对 应 于 新 基 
的 元 为 零 . 这 样 得 到 新 (2. 20) 表 的 最 末 行 . 

例 2.7 重 写 例 2. 2 的 初始 表 , 并 将 例 1. 2 中 目标 函数 之 系数 作 
为 最 末 行 添 入 ,同时 右 下 角 置 零 ,得 


榈 始 家 
al Uz ay a4 as b 
1 《17 1 0 0 3500 
《1 0 0 1 0 1500 
5 2 0 0 1 10000 
一 5 一 3 0 0 0 0 


注意 ,此 问题 目标 冰 数 中 c= 二 c= 二 cs 二 0, 上 表 已 为 (2. 20) 的 形式 . 
表 中 景 末 行 判别 数 有 两 个 为 负 且 对 应 之 avaz 列 中 均 有 正 元 ,将 
aisaz 中 的 任 一 个 作为 进 基 向 量 都 会 得 到 改进 的 解 , 对 应 的 主 元 在 
表 中 已 揪 出 . 例如 ,我 们 选 mm 进 基 , 作 一 次 歌 主 运算 ;加 时 将 量 末 行 
作 相 应 的 变换 ,使 得 sx,ety*as 下 的 三 个 判别 数 为 零 , 这 样 得 


第 一 表 
1 1 1 0 0 3500 
1 0 0 1 0 1500 
《3》 0 一 2 0 1 3000 
一 2 0 3 0 0 10500 


选 aa 进 基 , 括 出 主 元 ,得 
"Zo 。 


第 二 如 
0 1 5/3 0 一 173 2500 
0 0 2/3 1 一 173 500 
1 0 一 273 0 173 1000 
0 0 2/3 0 2/3 12500 


最 末 行 之 判别 数 已 无 为 负 者 , 故 由 第 二 表 得 最 优 解 (1000,2500,0， 
500,0), 最 优 值 为 一 12500. 回复 到 例 1, 1, 得 最 优 解 (1000,2500)， 
最 优 值 为 12500， 
读者 也 可 以 在 初始 表 中 选 ma 进 基 , 然 后 完成 余下 相应 的 计算 . 
将 每 表 所 得 之 基本 可 行 解 与 例 1.8 中 的 图 1. 2 硼 对 晨 ， 看 看 行进 揭 
线路 又 是 如 何 ， 
以 下 给 出 一 般 情况 的 单纯 形 算法 .再 写 出 标准 型 
min c7z 
8.t, Xd 十 XGs 十 下 十 TAs 二线 (2, 24) 
zz 守 0 
设 线 性 规划 (2. 24) 已 有 一 个 基本 可 行 解 ,对 应 的 基 为 Ci js 
2 记 
B= (a 0, "a; ) 
求 出 
(ory20r"r Ym) 一 五 声 
Cyijr ya Yn) 一 五 -16j， 了 一 ly ,nn 
注意 ,B14j 二 eyi 一 1, 这 里 e 表 第 i 个 元 为 1 的 单位 m 维 向 
其 .于 是 对 应 的 单纯 形 表 为 


(2, 25) 


A Cr Xs ' Cn so 


这 个 表 中 , 当 坟 =iyi 二 1,… 时 ,就 化 为 (2, 20) 表 .上 例 中 的 初始 
表 . 第 一 表 及 第 二 表 都 是 这 个 形式 , 表 中 对 应 于 基 的 列 组 成 一 个 天 
阶 单位 阵 ( 尽 管 次 序 要 经 过 适当 调整 ,不 以 下 标的 大 小 为 序 , 而 以 
子 列 标号 方 的 下 标 i 的 大 小 为 序 ). 同时 末 行 判别 数 中 对 应 于 基 的 
元 为 零 ， 

单纯 形 算法 ”对 于 标准 型 线性 规划 (2. 24), 设 已 有 一 个 基本 
可 行 解 及 对 应 的 表 (2. 25) 中 的 359 一 1 和 一 0 1 

第 一 步 “” 定 主 元 列 &， 

i 二 > cy = 1 
取 大， 
f= 一 二 Min {6 — zj} 
若 rz20, 则 得 最 优 解 x+, 其 中 zx 二 yoi 二 1,…,m,z 的 其 余 分 量 为 
蕉 .最 优 值 为 
5 一 Yo 
算法 结束 . 否则 ， 

第 二 步 ” 定 主 元 行 /; 

车 内 和 0 一 1,…，22 则 目标 函数 在 可 行 集 上 无 下 界 , 算 法 结 
东 ; 耕 则 , 取 i . 


yn - min|2e | (2. 26) 


Ya ya>0 Vi 
第 三 步 ” 取 主 运算 和 变动 标号 内 容 
性 2 一 0,] ,on 


y= Yo Yi 3 
fi 一 ] Ht 天 Lj 一 Ol ,on 


(2. 27) 


二 上 
Ch 
转 同 第 一 步 ， 


= 24 。 


在 非 退 化 性 假定 成 立 的 情况 下 ,上 算法 能 在 有 限 步 内 结束 , 这 
是 因为 非 运 化 性 假定 保证 了 目标 函数 值 在 算法 中 严格 下 降 ( 推 论 
2.5), 从 而 算法 中 产生 的 基 各 不 相同 ,而 基 的 个 效 有 限 . 于 是 ,或 目 
标 值 无 限 ( 在 第 二 步 上 结束 ) ,或 有 限 步 内 得 解 (在 第 一 步 上 结束 ). 

在 退化 的 情况 下 可 能 会 出 现 基 的 循环 ,就 是 在 选 代 中 总 是 那 
么 几 组 基 轮 番 出 现 . 这 是 因为 目标 值 不 能 保证 严格 下 降 . 实际 问题 
中 还 没有 人 碰 到 这 种 循环 现象 ,但 有 人 构造 出 这 种 例子 , 普遍 认 
为 ,可 仍 用 以 上 算法 对 一 般 问题 求解 , 磁 到 循环 情况 时 再 用 补救 办 
法, 详情 参见 $ 2. 5. 


§ 2.3 初始 基本 可 行 解 的 寻求 


以 上 的 讨论 总 是 在 给 定 了 第 一 个 基本 可 行 解 的 假定 下 进行 
的 . 但 初始 基本 可 行 解 如 何 寻求 ?利用 一 个 辅助 的 线性 规划 与 单纯 
形 法 相 结 合 , 会 产生 满意 的 效果 . 
对 于 线性 规划 的 初始 基本 可 行 解 ,有 时 可 以 直接 得 到 . 例如 在 
以 
人 
了 之 1 
为 约束 的 问题 中 ,其 中 5 之 0, 对 应 于 这 个 问题 的 初始 基本 可 行 解 
可 以 直接 由 松弛 变量 提供 . 前 节 的 例 已 经 作 了 很 好 的 说 明 . 现在 我 
们 研究 一 般 标 准 型 的 约束 
(A (2. 28) 
宇 0 
其 中 6->0. 这 里 ;我们 对 4 的 秩 不 作假 定 . 为 了 寻求 (2. 28) 的 一 个 
基本 可 行 解 , 我 们 研究 人 造 的 极 小 问题 


min s = Dy 
i=] 
st 4z 十 19 一 已 (2. 29) 


工 这 0,y 守 0 
25 。 


其 中 y= 一 (yy ,Ym)” 是 人 工商 量 . 注意 ,(2. 29) 已 为 我 们 提供 
了 一 组 基本 可 行 解 + 二 0,y 一 5. 并 且 ,(2. 29) 是 一 个 标准 的 具有 
n 十 m 个 变 元 的 线性 规划 , 零 是 日 标 函 数 的 一 个 下 界 . 因此 , (2. 29) 
必 有 解 ( 上 章 习题 5); 于 是 我 们 可 用 单纯 形 法 解 之 . 有 下 述 可 能 性 ; 

(1) 若 mins>>0, 则 (2. 28) 无 可 行 解 . 这 是 因为 若 (2. 28) 有 可 
行 解 苑 , 则 z==z,y= 二 0 便 是 (2, 29) 的 可 行 解 . 从 而 对 应 地 有 * 一 0， 
得 矛盾 . 

(ii) 若 mins 王 0. 此 时 有 两 种 可 能 性 ， 

(a) 若 此 时 基本 变量 全 为 z 变量 , 即 通过 单纯 形 法 中 基本 变 
量 的 转移 ,关于 y 的 变量 已 全 部 高 基 , 在 (2. 29) 现 行 的 单纯 形 表 中 
去 掉 附 加 的 ”的 和 列 , 这 样 便 得 到 (2, 28) 的 一 组 基本 可 行 解 ， 

(by) 车 此 时 基本 变量 中 含有 y 变量 ,比如 说 含有 ,那么 现行 
的 单纯 形 表 的 第 7 行 中 ,对 应 于 y 的 系数 是 1, 对 应 于 5 列 的 系数 
是 堆 , 其 余 的 对 应 于 x,y 作为 基本 变量 的 系数 ( 共 m 一 1 个 ) 亦 为 
零 . 写 出 对 应 的 方程 应 是 

yy 十 它 2 十 2 9 一 人 0 

其 中 少 为 基 变 量 ;y%zET,ziojE 了 了 均 为 非 基 变量 这 时 又 分 两 种 
情况 ， 

车 yi=0VY jEJ, 这 说 明 经 过 行 的 变换 ,(2. 28) 中 之 4r 一 避 
的 第 r 个 方程 的 系数 及 右 端 全 为 零 , 则 该 第 r 个 方程 可 以 去 掉 . 现 
行 的 单纯 形 才 中 (对 应 于 (2. 29) 的 ?第 > 行 即 可 去 之 . 

若菜 y, 关 0,sEJ, 可 选择 x, 进 基 ,取代 y,, 两 种 情况 的 任 一 种 
都 导致 y, 消失 ,从 而 在 有 限 步 内 必 导 致 情况 (a). 

总 之 ;我 们 使 用 人 工 变 量 方法 于 C2, 28) 可 以 得 到 下 列 结果 ， 

(i) (2. 28) 无 可 行 解 ; 

(iy (2. 28) 中 的 方程 组 4z 一 中 有 多 余 的 方程 ,以 及 决定 那 
些 方程 可 以 去 掉 ， 

《证 ) 得 到 (2. 28)( 或 化 约 后 的 等 价 的 (2. 28)) 的 一 组 基本 可 行 
解 . 


例 2.8 研究 问题 
min 4x, 十 zz 二 Za 
3s.t，27l 十 za 十 27 一 4 
3z: 十 3rs 十 zs 一 3 
XisTa 2 站 
下 面 的 解法 叫做 两 阶段 单纯 形 法 . 


阶段 1 引信 人 工 变 量 x,,z;, 求 上 问题 的 初始 基本 可 行 解 . 
辅助 规划 为 


min x 十 -5 
号 . 人。 221 十 za 十 2z5 十 24 一 4 
3zi 十 37s 十 2 十 Xx 二 3 


Tre yas Ta sts 之 0 


初始 表 应 是 
初 始 各 
Tl Zs Ta 4 Ts 5 
2 1 2 1 0 4 
3 1 0 1 3 
0 0 0 1 i 0 


表 中 最 末 行 是 目标 函数 之 系数 ,5b 下 记 为 零 . 为 运用 单纯 形 法 , 变 
换 最 末 行 ,使 对 应 于 基本 变量 x,,zs 下 面 的 元 为 零 . 这 样 得 到 


第 一 表 
2 1 2 1 0 4 
《37 3 1 0 1 3 
一 5 一 4 一 3 0 0 一 了 


在 对 应 于 末 行 具有 最 负 人 ( 忆 列 除外 ?分 量 的 列 中 取 主 元 ,通过 一 次 
取 主 变换 及 相应 的 末 行 变换 ,得 
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第 二 表 


0 —1 《473》 1 —2/3 2 
1. 1 173 0 173 1 
0 2 —4/3 0 573 一 人 


在 第 二 表 中 只 有 一 种 取 主 方式 . 搬出 主 元 ,经 过 变换 得 


第 三 各 


0 0 0 1 1 0 


两 个 人 工 变 量 已 被 移出 基 外 ,目标 应 数值 化 为 零 同 时 得 到 原始 问 


题 的 一 个 基本 可 行 解 工 1 一 17/2,zs 一 0 ,23 一 372， 


阶段 I 运用 从 阶段 I 中 导出 的 基本 可 行 解 , 将 原始 问题 用 
单 症 形 法 极 小 化 , 即 , 删 去 人 工 变量 ,取出 第 三 表 中 以 虚线 勾 出 的 
数据 ,再 添上 原生 标 函数 中 的 系数 及 零 作为 最 末 行 . 如 此 得 初始 


表 : 
初 始 变 
1 Xz 并 b 
0 —3/4 1 372 
1 574 0 17 
4 1 1 0 


变换 最 末 行 ,使 对 应 于 基 列 的 分 量 为 零 , 我 们 得 到 


第 一 束 
0 一 374 1 3/2 
1 《574》 0 173 
0 —13/4 0 —?7/2 
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375 
475 
1375 


2/5 
一 1175 


第 二 表 
0 1 975 
1 0 
0 0 


判别 数 已 均 非 负 . 故 得 最 优 解 (0,2/5,975). 最 优 值 为 1175. 
$2.4 修正 单纯 形 法 


至 此 ,读者 或 许 明 白 , 单 纯 形 法 中 每 次 的 取 主 运算 只 用 到 极 少 
量 的 列 和 行 , 其 它 的 列 和 行 并 不 明显 地 用 到 . 特别 是 当 算法 在 少量 
几 步 便 结束 时 (实际 经 验 表 明 , 在 经 过 大 约 m 次 或 3m/2 次 取 主 运 
算 就 可 期 望 这 个 方法 能 得 到 最 优 解 ). 对 其 它 的 列 和 行 同时 进行 运 
算 , 在 某 种 意义 上 讲 是 一 种 浪费 . 修正 单纯 形 法 的 目的 就 在 于 避免 
这 种 不 必要 的 计算 ， 


1. 单纯 形 法 的 抢 阵 形式 


我 们 先导 出 矩阵 形式 的 单纯 形 玫 , 它 可 以 帮助 对 单纯 形 法 加 
深 理解 ,同时 可 以 给 出 单纯 形 法 的 简单 描述 . 
考虑 标准 型 线性 规划 
min ex 
3.t, AT=b (2. 30) 
立 之 0 
假定 4 的 首 mm 列 线性 无 关 , 记 互 一 (elyas as) 将 定 阵 4 分 块 
为 . 
A= (B,D) 
对 应 地 有 


标准 型 (2. 30) 即 化 为 
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min cEzxsg 十 <c3zp 
st. Brs+ Drp =b (2, 31) 
Xp 之 0, Xp 之 0 
由 (2. 31) 的 等 式 立 得 
rs = B-'b— BiDrp (2. 32) 
令 zp 二 0, 由 上 式 得 一 组 基本 解 . 这 里 假定 解 是 可 行 的 , 即 基本 可 
行 解 为 | ] ,其 中 zs 一 B-'6>0. 对 应 的 目标 函数 值 为 中 B-' 
现在 ,让 z 在 可 行 集 内 任意 变动 , 则 利用 (2, 32), 目 标 函 教 * 
一 cx 的 表达 式 为 
5 一 chzrg 十 chrp 
~ ehB b+ (eb — chB DD)zp 《2. 33) 
其 中 一 mm 维 行 向 量 已 一 c8B-LD 就 是 nn 一 m 个 判别 数 , 它 们 对 应 
于 非 基 变量 , (2, 30) 和 (2. 31) 有 关 的 系数 阵 为 


[4 bo _ B Dp 
eT 0 和 [a ch | 
对 应 的 单纯 形 表 为 


T / BD 26 | (2. 34) 
3 lo modaB-D — eB - 


它 就 是 (2. 20) 的 矩阵 表示 .注意 ,我 们 以 Ts 记 之 ,表明 (2. 34) 由 百 


. B! orB Ds 
Ts = TH-l T 下 
— csB 1 Cs Cp 0D 


等 式 右 端 之 第 一 阵 是 对 应 的 变换 阵 ， 
今 假定 莽 B 由 4 的 任 m 个 线性 无 关 列 所 组 成 . 记 
如 二 (a :0 oD 
对 应 地 记 
5 一 《2 了 5 
《5 一 Cc Cj sc ) 
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仿 上 ,我 们 能 够 容易 地 时 出 一 般 形式 的 单纯 形 表 为 
Ts = [| 4 BS 6 | (2. 35) 
“BA arp, 

它 是 (2. 25) 的 矩阵 形式 . 注意 ， 

B-! "| ?| 


显然 ,(2. 34) 是 (2. 35) 的 特殊 形式 . 
2. 修正 单纯 形 法 


现在 ,我 从 单纯 形 表 (2. 35) 结 合 (2. 34) 出 发 ,分 析 $2.2 所 给 
出 的 单纯 形 算法 . 我 们 发 现 首先 感 兴 趣 的 是 由 判别 数组 成 的 向 量 
起 一 c4871D. 车 c5 一 cB "1D 之 0, 则 已 得 最 优 解 . 否则 ,我 们 找 出 
四 一 8B~!DD 中 的 最 负 分 量 , 比 如 说 其 下 标 为 , 它 对 应 于 进 基 向 量 
.于 是 我 们 再 寻找 现行 的 56 列 与 a4 列 的 对 应 分 量 的 比 的 非 焦 数 
中 之 最 小 者 , 设 为 对 应 于 as 列 的 第 /元 , 则 选 因为 主 元 ,或 者 确定 
目标 函数 无 下 界 , 每 次 选 代 在 取 主 和 运算 之 前 所 涉及 的 是 两 列 (ai 列 
和 号 列 ) 与 末 行 中 之 必 一 cEB8-1D. 修正 单纯 形 法 的 思想 是 这 样 的 ， 
需 用 的 数据 用 合适 的 方法 先 算出 来 , (暂时) 不 用 的 数据 则 存放 不 
始 数据 . 在 计算 机 中 实现 这 种 算法 一 般 可 节省 存储 ,减少 计算 量 . 
现在 我 们 来 描述 算法 且 设 标准 型 线性 规划 (2 30) 为 给 定 . 

修正 单纯 形 算法 ”给 出 初始 基 的 逆 B-! 及 现行 的 一 B-i6 
之 后 ,执行 以 下 步 缀 : 

第 一 步 ” 计 算 5 一 cB 1D. 车 忆 一 cB8-1D 之 0, 算 法 结束 ,得 
最 优 解 z 为 

Xs = Yo Xp==0 

第 二 步 ” 根 据 co 一 c8B8-!'D 中 的 最 负数 来 确定 进 基 向 重 , 设 标 
号 为 计算 % 一 B-:aw, 这 里 用 as 表示 初始 甫 的 第 有 列 ,用 ys 表示 
现行 表 的 第 关 列 ，。 

第 三 步 计算 比 0 二 yw /yi 二 1300 9m, 若 w 是 请 w 中 非 负 
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数 的 最 小 者 , 则 主 元 为 yes 或 确定 目标 函数 是 无 下 界 的 ， 
第 四 步 “” 修改 B-! 和 现行 的 %= 刀 2 返回 第 一 步 . 
以 下 作 几 点 说 期 ， 
(i) 引进 松弛 变量 或 对 标准 型 使 用 人 工 变 量 方法 求 得 一 初始 


表 如 (2. 35). 因此 ,初始 的 B :一 工 
《ii》 对 现行 的 基 作 取 主 变换 的 变换 阵 由 (2. 4) 式 得 到 : 


1 0 0 一 op 0 “10 
0 1 0 yay 0 … 0 

pi = 0 1 0 0 yg6) 
0 0 … 0 1 7 0 
0 0 0 一 Yu 1 1 0 
0 0 “0 一 OA 0 1 1 


若 以 五 记 第 r 次 的 变换 阵 , 则 现行 的 
Bli= EE “EE,:E, 
在 电子 计算 机 中 存储 这 些 阵 很 简单 ,只 要 存储 取 主 变换 序号 ,对 
应 之 标号 ! 以 及 对 应 的 (2. 36) 中 第 7 列 的 数据 . 并 且 算法 中 有 关 
的 计算 也 很 简单 : 
BB = RCE "(E(BEb)..) 
Bg = E(E, 1 (E (Ea))) 
若 记 
N=cBB = CehE DE, EE)E, 


Do— chB iD=e— MD 
《ii) 在 引进 人 工 变量 求 初 始 基本 可 行 解 时 ,自然 也 可 以 使 用 
修正 单纯 形 法 . 
以 上 若干 说 明 的 实施 ,有 的 书 中 称 之 为 道 乘 积 形 式 的 单纯 形 
法 . 


§ 2.5 摄 动 理 论 及 避免 循环 


前 面 我 们 已 经 给 出 了 求解 线性 规划 的 单纯 形 法 ,并 且 指 出 对 
一 般 的 实际 问题 总 能 在 有 限 步 内 求解 , 然而 ,出 现 循环 的 可 能 依然 
存在. E. Beale 在 1955 年 给 出 了 如 下 的 例 ， 


例 2.9 
min - Sx + 150x — .7 十 6z 
4 1 2 50 3 4 
s.t 工 x 60r, — lz, gr 十 zx = 0 
"Ye 4 1 2 25 4 5 
1 — 90x 一 4 十 3z 十 之 =0 
2 1 2 50 3 4 6 
Ts 十 x ;= 二 1 
Xi 9, 15= 1,2,3,4,5,6,7 
易 知 ， 
1 1 
0,0,1,0, pr 0 《2, 37) 


是 这 问题 的 一 个 可 行 解 ,对 应 的 目标 函数 值 为 一 十 . 今 写 出 它 的 
初始 表 
村 给 家 


a Uy as C4 G5 de Ar 在 
全 —60 ~ 闸 9 1 0 0 0 
到 一 90 - 吉 3 0 1 0 0 
0 0 1 0 0 0 1 1 
于 150 -而 6 0 0 0 0 


以 下 我 们 给 出 选 代表 格 但 略 去 计算 过 程 , 主 元 都 取 在 判别 数 最 小 
者 所 对 应 的 列 中 . 
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一 240 36 , 
0 (30) _15 _， 
0 D 0 0 
0 一 30 33 
第 二 
8 
! 0 25 84 8 
1 1 | 
500 却 
[0 站 1 0 
2 
' ? 25 1 
三 表 
名 525 
3 2 25 
1 
1 1 0 《二 1 
0 0 525 _ 
8 
1 
和 0 0 3 
表 
-1 lo 1 (50) 一 150 0 
1 1 2 
下 30 3 0 
33 一 10500 0 一 50 150 1 
_1 — 
2 120 0 ] ; 


1 
6 一 30 155 1 必 (37 1d 各 
0 


0 1 0 0 0 1 1 


一 一 330 二 0 0 一 2 0 0 


对 第 五 表 再 进行 一 次 取 主 运算 即 得 初始 表 , 这 样 经 过 六 次 选 代 又 
回复 到 原来 的 状况 ,这 就 叫做 循环 . 注意 到 迭代 前 后 的 目标 函数 值 
都 是 零 , 且 由 (2. 37) 中 给 出 的 可 行 解 对 应 的 目标 函数 值 是 负 的 ,这 
样 下 去 水 远 得 不 到 最 优 解 . 

如 果 一 个 基本 可 行 解 是 退化 的 ,那么 有 这 种 可 能 性 :将 ww 进 
荣 而 使 w, 离 基 时 ,有 ym/y4 二 0. 这 意味 着 新 的 基本 可 行 解 也 是 退 
化 的 ,并 且 新 旧 目 标 值 相同 . 于 是 理论 上 可 能 产生 循环 . 本 节 给 出 
的 援 动 理论 就 是 为 了 解决 这 个 问题 的 ,但 其 本 身 也 有 独立 的 意义 ， 


考虑 标准 型 线性 规划 
(LP) min crz 
8,t. Az=b 
工 之 0 


其 中 A= Ca 9 人 2 9 ‘dn), 对 Azx=b 定义 摄 动 方程 组 
Ar =b(e), e>D0 


其 中 
b(e) = sa 十 eas + "+ ea, (2. 38) 
青 考虑 
(LP), min ce’x 
s.t, Ar=b(e) 
T2200 


定理 2.10 设 B==(a1,ay,…,aw) 为 (LP) 的 可 行 基 , 则 对 于 足 
够 小 的 e>0,(LP), 对 应 于 基 刀 的 基本 解 是 非 退 化 的 基本 可 行 解 . 
证 LP). 关于 基 B 的 基本 解 为 可 行 解 , 当 且 仅 当 
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B-'ib(e) 六 0 
利用 单纯 形 表 (2. 19) 中 的 记号 以 及 (2. 38),B 8(s) 之 分 景 为 


yw 十 十 >， Vij!s i 二 1, mm ‘2, 39) 
一 博 十 二 
由 于 BB 是 (LP) 的 可 行 基 , 故 
yi 之 07= l,m (2. 40) 


再 由 于 (2. 39) 式 第 二 项 中 上 的 次 数 严格 小 于 其 第 三 项 中 任 一 个 上 
的 次 数 , 由 此 结合 (2. 40) 知 对 充分 小 的 :>0,(2. 39) 中 的 表达 式 
严格 为 正 , 故 结论 为 真 ， 

定理 2.11 存在 so>>0, 使 得 对 Y sE (0,e),(LP). 是 非 退 化 
的 , 即 它 的 任 一 基本 可 行 解 都 是 非 退 化 的 . 

证 任 取 4 中 的 一 个 基 , 记 对 应 的 基 变 量 的 下 标 集 为 S= 
{jes yfm}《 参 见 单纯 形 算法 ), 记 非 基 变量 的 下 标 集 为 了 .沿用 
对 应 于 此 基 的 单纯 形 表 (2. 25) 中 的 记号 ,类 似 于 (2. 39), 现 行 的 
(LP), 的 单纯 形 表 中 5) 列 的 内 容 为 


BE) 二 yn 十 外 十 DS yeis 大 区 站 {2, 41) 
JE 了 
上 式 中 关于 上 的 非 零 多 项 式 
Yio 十 8 十 oil 1 一 1】 ,m7 (2. 42) 
jeT 


只 有 有 限 个 零点 . 故 存在 >0 使 得 (2. 42) 关 于 在 (0,so) 中 没有 
零点 . 由 于 基 的 个 数 是 有 限 的 , 故 ee>0 可 选择 得 使 对 所 有 的 基 变 
量 的 下 标 集 S, (2. 41) 中 的 如 (8) 在 (0,6o) 中 没有 零点 . 这 样 ， 
(2. 41) 表 明 对 Y eE€ (0,80) ,CLP), 的 任 一 基本 解 或 是 不 可 行 的 ,或 
是 非 氨 化 的 基本 可 行 解 . 证 华 . 

车 (LP) 有 一 个 可 行 基 8 其 由 4 的 首 mm 列 组 成 ; 则 由 上 两 定 
理 知 对 V 8 蕊 (0,eo), (CLP), 是 非 退 化 的 且 圣 少 有 一 个 基本 可 行 解 . 
从 而 可 从 基 B 出 发 对 (LP), 关于 某 个 sE (0,s) 作 单纯 形 算法 . 若 
写 出 (LP), 的 单纯 形 表 , 刚 除 了 65(e) 列 外 ,其 余 的 列 及 判别 数 和 
(LP) 关 于 同一 个 基 的 单纯 形 表 是 一 样 的 . 在 用 单纯 形 法 求解 
(LP), 时 ,车 在 某 次 殉 代 时 有 某 个 <<0 且 wm 列 的 元 钴 非 正 ; 则 由 
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定理 2, 6 知 (LP), 的 目标 值 无 下 界 , 同 理 可 知 (LP) 的 目标 值 无 下 界 
(注意 ,此 时 有 yn 之 0;7 二 1,…,m); 余 下 的 情况 只 能 是 得 到 了 
(LP). 的 一 个 非 授 化 的 最 优 基 本 可 行 解 且 相应 的 判别 数 必 全 是 非 
负 的 ,对 应 地 得 到 了 (CLP) 的 全 是 非 负 的 判别 数 , 由 于 上 面 的 论述 
对 (0,5) 中 的 8 的 大 小 无 关 , 以 及 此 时 在 (2. 41) 中 恒 有 bi(s)>>0， 
故 必 有 yw 之 0 二 1,…,m. 这 样 就 得 到 了 (LP) 的 一 个 最 优 基本 可 
行 解 且 相 应 的 判别 数 皆 非 负 . 从 而 ,我 们 得 到 了 

定理 2. 12 车 线性 规划 CLP) 有 一 个 最 优 解 , 则 这 个 规划 必 有 
一 个 最 优 基 . 

设 (LP) 的 初始 可 行 基 由 4 的 首 mm 列 组 成 .对 (LP), 的 单纯 形 
表 作 取 主 运算 的 过 程 进 行 简单 的 分 析 , 可 得 对 (CLP) 进行 单纯 形 算 
法 的 一 种 选择 主 元 的 规则 . 注意 到 对 (LP), 的 任 一 个 现行 的 单纯 
形 表 ,其 ble) 列 由 (2, 41) 之 右 端 给 出 , 先 利用 表 (2. 25) 将 (2. 41) 改 
写成 紧 竣 的 形式 ， 


bi(e) = yn 十 De, i = 1 ,1 (2. 43) 
再 设 w 进 基 ， 主 元 行 1 应 取 使 下 花 括号 内 的 表达 式 
可 十 EF 1 
min 全 > “| (2. 44) 
oa Yi 


达到 最 小 的 区 参见 (2. 8) 式 ). 由 于 e>>0 可 以 足够 小 , 故 首选 /为 
中 的 元 : 

T= {isye/ ya min yo/ Yasi 1 ,有 目 ya>0} 《2. 45) 
车 了 的 元 不 唯一 . 由 (2. 44) 中 花 揪 号 内 iE 的 元 的 大 小 依赖 于 名 
的 系数 , 故 定 义 - 

T= {irys/yn = Dn Ya/ Yui ET,j=1,2,% (2.46) 
直到 某 个 I 的 元 唯一 , 设 此 元 为 /, 选 yn 为 主 元 . 根据 定理 2. 12 以 
上 的 论述 可 知 ,这 种 选择 主 元 的 方法 能 避免 循环 (请 读者 自 证 
sm), 称 这 种 方法 为 “ 摄 动 法 ?或 “字典 顺序 法 ” 

一 个 基本 可 行 解 若是 非 运 化 的 , 则 其 对 应 于 唯一 的 基 ; 若 此 解 
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为 最 优 解 ,容易 证 明 对 应 的 基 是 最 优 基 . 一 个 基本 可 行 解 若 是 运 化 
的 , 则 其 可 能 对 应 于 好 几 个 基 ; 若 此 解 还 是 最 优 解 ,我 们 现在 能 够 
证 明 其 对 应 的 基 中 至 少 有 一 为 最 优 基 . 这 样 ,我 们 得 到 定理 2. 12 的 
一 个 如 强 , 它 可 以 看 成 定理 2. 3 的 逆 . 我 们 把 证 明 留 给 读者 . 

定理 2.13 线 件 规 划 (LP) 的 任 一 个 最 优 基本 可 行 解 都 有 一 
个 最 优 基 . 


习 题 


1. 假定 对 应 于 每 一 个 非 基 变量 z; 所 对 应 的 j, 都 有 判别 数 rj; 半 0, 试 证 相 
应 的 基本 可 行 解 是 唯一 的 最 优 解 . 
2. 在 单纯 形 法 中 , 若 不 选择 x; 为 最 负 作为 进 基 癌 重 的 标准 ,而 选择 
rmax{r; * yo/ Yi: ys > 0} (2, 47) 
为 最 小 作为 进 基 商量 的 准则 . 试 证 明 这 个 准则 能 导致 目标 函数 值 的 最 大 改 
进 ， 


3. 用 单纯 形 法 求解 
Imax 27) 十 47; 十 23 十 24 
8. t. TX! 十 372 十 4 和 


27) 十 工 3 
zz 十 4z 十 嫉 守 3 
tz 0i= 1,2,3,4 
4. 对 上 题 的 线性 规划 
(i 0 一 (4,3,3)7 中 的 元 率 能 连续 变动 多 少 ?使 得 项 最 优 共 不 变 ? 
(iiy < 一 2,4,1,1)7 中 的 元 素 能 连续 变动 多 少 ,使 得 原 最 优 基 不 变 ? 
(证 ) 对 于 5 的 很 小 的 变化 ,最 优 值 有 什么 变化 ? 
(iy) 对 于 上 的 很 小 的 变化 ,最 优 值 有 什么 变化 ? 
5. 用 单纯 形 法 求解 
- tmax 37i 十 Tz + 3zs 
s.+. 2x 十 Xi 十 Xs 守 2 
五 十 2rs 十 3zs 多 5 
271 十 Zo 十 的 < 秋 6 
TI 2 Ts 六 站 
6. 用 两 阶段 单纯 形 法 解 
。 38. 


min — $1 十 Zz; 十 3x3 — 
5.t, zl 十 Zr 一 Xi 十 二 0 
27z1 一 27z 十 Br 二 37,=9 


TI 一 ws 十 2z —z = 
之 00,1 二 1, 2, 3,4 
7. 线性 不 等 式 组 
AT 守 bp, 了 之 0, 其 中 5 守 0 
可 以 化 为 标准 型 


Ar—ly=6,x 守 0,y 守 0 (2. 48) 
用 下 列 方 法 先 变换 (2. 48) : 今 刀 一 maxs{6:) ,其 中 如 是 上 的 分 量 ; 特 第 上 
行 分 别 减 去 其 余 各 行 作为 新 的 对 应 的 行 . 这 样 便 得 到 新 (2. 48), 证 明 为 获 
(2. 48) 的 初始 基本 可 行 解 ,只 要 对 新 (2. 48) 附 加 单个 的 人 工 变 量 即 可 , 并 利 
用 这 一 方法 求 下 面 不 等 式 组 在 标准 型 下 的 一 组 基本 可 行 解 . 
zl 十 2x 十 坞 学 4 
2 十 zs 十 Xs 这 5 
271 十 3xs 十 27 之 6 
Xi 之 0,17= 1,2,3 
8. 举例 说 明 , 对 应 于 一 个 退化 的 最 优 基 本 可 行 解 的 某 个 单纯 形 表 ,其 判 
别 数 不 全 是 非 负 的 ， 
9. 设 线性 规划 (LP7 有 一 个 最 优 基本 可 行 解 , 它 是 退化 的 . 设 已 有 对 应 于 
此 解 的 某 个 基 的 单纯 形 表 (2. 25). 记 


了 一 {i: yn 一 047 一 1 my C2, 49) 
证 明 : 对 现行 表 中 的 任 一 判别 数 rs:ra<0, 集 合 
{yuyu > Oi EI} (2. 507 


是 非 空 的 . 由 此 彰 利 用 (2, 45) 和 (2. 46) 及 摄 动 理论 证 明定 理 2. 13. 
10. 解 线性 规划 的 大 MM 法 , 考 不 
: min ec?z 
St, Ar=B8 
TO (2.51) 
设 (2. 红 I) 有 最 优 解 , 再 考虑 
. min crz 十 Mery 
st. Ar++ Iy=6 (2. 52) 
工学 0,y 守 0 
39 。 


其 中 ce 二 《1,1,…,1)TER". 证 明 : 存 在 ww 之 0, 只 要 M 之 mo, 就 有 
() 若 三 为 (2. 51) 的 最 优 基 本 可 行 解 , 则 ( 王 ,0) 为 (2. 52) 的 最 优 基 本 可 行 
解 ! . 


的 最 优 基 本 可 行 解 . 
11, 用 摄 动 法 求解 例 2. 9. 
12. 用 单纯 形 理论 结合 摄 动 法 证 明 第 一 章 习题 5 的 结果 ， 
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第 三 章 对偶 理 论 
联系 着 线性 规划 的 一 个 重要 而 有 趣 的 问题 是 对 偶 线 性 规划 . 
对 偶 的 概念 首 由 von Neumann 在 1947 年 引 人 线 性 规划 , 其 后 由 
Gaje,Kuhn ,Tucker 三 人 表 成 精确 的 形式 ， 


8$ 3.1 对 偶 线 性 规划 


我 们 先 描述 如 下 的 对 侦 ， 
原始 问题 对 偶 问 题 
min ecTx max brA 
s.t.. Ar 之 4 st, AMCe (3.1) 
之 0 A 宕 0 


其 中 变量 4 为 m 维 列 向 重 , 这 里 原始 问题 用 不 等 式 约束 而 不 用 等 
式 约 东 ,因为 这 样 最 具有 对 称 性 . (3. 1) 的 两 个 问题 也 称 为 对 称 对 
偶 . 给 定 了 (3, 1? 的 原 问题 ,建立 它 的 对 偶 的 规则 是 这 样 的 ， 

《iD 对 候 问 题 用 且 仅 用 到 原始 问题 的 数据 , 即 4,2,c; 

(i) 一 个 间 题 的 变量 为 # 维 , 则 另 一 个 问题 的 变量 为 m 维 , 它 
们 的 维 数 分 别 对 应 于 矩阵 4 的 列 数 和 行 数 , 且 变 量 都 要 求 非 负 ! 

(下 ) 两 个 问题 关于 矩阵 4 的 不 等 号 是 反 向 的 , 且 对 应 于 不 等 
号 “之 "的 规划 其 目标 函数 取 极 小 ,同时 另 一 问题 取 极 大 . 

线性 规划 的 对 侦 具 有 对 合 性 , 即 对 偶 问 题 的 对 偶 是 原 问 题 . 请 
读者 自行 验证 . 

依照 上 述 规 则 可 以 建立 任何 线性 规划 问题 的 对 偶 , 例如 ,考虑 
标准 入 线性 规划 

1 min c7> 

gt, A = 

工 之 0 


先 把 它 化 成 等 价 的 形式 


min c7z 


A pb 
sz>| -a 
TX 学 人 0 
上 面 的 规划 形 如 (3. 1) 的 原 问 题 . 以 x,vE€ R” 作 为 对 侦 变 量 , 再 依 
上 述 规则 得 对 偶 问 题 为 
max bru — bv 
St. Aw— Awe 
O00 之 0 
令 4 二 # 一 v; 则 得 到 简化 了 的 对 侦 如 下 : 
原始 问题 对 偶 问 题 
min cix max bp" A 
§.t, Az= 上 4 s.t. AAre (3. 2) 
0 
这 是 一 种 非 对 称 形 式 的 对 侦 . 注意 ,此 时 的 对 偶 变 量 和 是 自由 变 
量 . 

例 3.1 考虑 例 1. 1 中 的 线性 规划 , 它 是 (3. 1) 中 的 对 侦 问 题 的 
形式 . 根据 对 个 之 对 合 性 , 它 的 对 偶 是 (3.1) 中 原 问题 的 形式 ,因此 
为 

min 3500% 十 1500y, 十 100007s 
St， 条 十 和 十 5 六 5 
护 十 233 之 3 (3. 3) 
Ys Ys 3 之 0 
对 照例 1. 1 中 的 表 , 对 i 二 1,2,3, 令 
和 %; 使 用 第 i 种 原料 一 个 单位 后 所 得 之 利润 . 
则 (3, 3) 的 目标 函数 天 所 有 不料 用 完 后 所 得 之 总 利润 ;而 前 两 个 不 
等 式 则 表示 了 由 例 1. 1 进行 的 生产 能 给 予 的 有 关 利 润 的 基本 保证 . 
这 个 问题 对 原料 商 确定 原料 的 销售 价 也 很 有 参考 价值 (此 时 ,% 应 
定义 为 第 :种 原料 的 单位 销售 差价 )， 


= .42 


例 3. 2( 运 输 问 题 的 对 偶 ) 第 一 章 中 所 描述 的 运输 问题 形 如 
《3. 2 的 原 问 题 , 因 此 它 的 对 偶 也 就 形 如 (3,. 2) 的 对 偶 问 题 . 由 于 运 
输 问 题 的 有 关 和 矩阵 很 特殊 ,我们 可 以 将 其 对 偶 问 题 表 达 得 具体 些 . 
写 出 运输 问题 的 矩阵 为 (其 中 未 列 出 的 元 缘 为 零 ) 


Ti Tle Fn TF21 232 2 Tm Tng Tn 
1 1 + 1 
1 1 1 
m 行 
1 1 1 
l 1 1 
7 行 1 1 l 
1 1 1 
以 及 


b= (a az nb bys b,)T 
ec = (cyclase ClasCe C2 Co se ym) Cnay ee scm )T 
薄 记 对 个 变量 | 
入 一 it yes 


代入 (3. 2) 的 对 偶 问 题 ， 我 们 得 到 运输 问题 的 对 偶 的 具体 表达 式 
max Dom 十 Do, 


s,t, ww + 二 二 《3. 4) 
fE 一 1,2, "ms 一 2 
注意 ,运输 问题 的 对 偶 的 形式 特别 简 洗 ， 


§ 3.2 对 偶 定 理 


应 该 指出 ,以 上 的 对 偶 问 题 的 建立 并 不 是 随意 的 . 本 节 给 出 以 
下 一 些 深 刻 的 结果 , 这 些 结果 可 以 看 成 是 对 定义 的 一 种 启发 . 同时 
更 重要 的 是 导致 新 的 算法 . 
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以 下 ,我 们 只 研究 标准 型 线性 规划 


min c7x 
s,t, Ar=6 (3.5) 
六 之 0 
及 其 相应 的 对 偶 问 题 
max PrA 
s.t. AA 3. 6) 
我 们 立即 有 下 面 的 重要 关系 . 
引 理 3.3 车 z 工 和 4 分 别 为 (3.5) 和 (3.6) 的 可 行 解 , 则 有 
ae (3.7) 
证 利用 关系 式 Ar=b,A 3 人 &c,z 之 0 立 得 
Mb = XAT) = CATNTr Ee 证 毕 . 


上 面 的 引 理 一 般 称 为 能 对 侦 ， 
引 理 3.4 车 x* 和 分别 为 (3. 5) 和 (3. 6) 的 可 行 解 ,日 满足 
cr = OR (3.8) 
则 z* 和 分 别 为 各 自 对 应 的 问题 的 最 优 解 ， 
证 对 (3,5) 的 任 一 可 行 解 z, 由 《3.7) 得 
CT 次 本 如 一 cTze 
这 表明 zx" 是 (3. 5) 的 最 优 解 , 同 理 可 得 另 一 结论 . 
引 理 3.5 若 如 是 (3.5) 的 最 优 基 , 则 
1 2 = (eB!)T 《3. 9) 
为 (3, 6) 的 最 优 解 , 旦 (3.5)7 和 (3.6) 有 相同 的 最 优 值 . 
证 册 瑟 为 (3,5) 的 最 优 基 ，, 按 定义 有 
co — cB iA0 
因此 , 久 = (chB871)” 对 (3.6) 是 可 行 的 . 设 z' 是 (3.5) 的 关于 B 的 
基本 可 行 解 , 则 由 单纯 形 表 (2. 35) 即 知 
r= chB b= XD 
于 是 ,结论 由 引 理 3. 4 立 得 .证 毕 ， 
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在 对 (3. 5) 施 行 单纯 形 算 法 的 任 一 过 程 中 ,我 们 都 可 以 形成 向 
量 (c38-:) (参见 修正 单纯 形 算法 中 的 说 明 (ii)》, 这 个 向 量 称 为 单 
纯 形 乘 子 , 若 这 个 向 量 又 是 对 偶 可 行 的 ( 即 满 足 (3. 6) 中 的 不 等 
式 ), 注 前 到 单纯 形 法 中 总 有 五 '6 之 0, 结 合 定理 2. 3 和 引 理 3. 5 可 
知 :五 - 蕊 对 应 着 (3, 5) 的 一 个 最 优 基本 可 行 解 , 而 (cgB-:)7 出 是 
《3. 5) 的 对 偶 问 题 (3. 6) 的 一 个 最 优 解 . 这 表明 在 求 得 一 个 问题 的 
最 优 解 的 同时 也 获得 了 其 对 偶 问 题 的 最 优 解 . 

引 理 3.6 对 于 线性 规划 (3. 5) 和 (3. 6)， 车 两 规划 均 有 可 行 
解 , 则 它们 都 有 最 优 解 ,而且 它们 的 最 优 值 相 同 . 

证 若 两 规划 均 有 可 行 解 , 则 由 引 理 3. 3 知 (3.5) 的 目标 函数 
在 可 行 集 上 有 下 界 , 从 而 它 有 一 个 最 优 基 ( 参 见 第 一 章 习 题 5 和 定 
理 2. 12). 再 利用 引 理 3. 5 知 绪论 为 真 . 

将 以 上 各 引 理 归纳 起 来 得 如 下 的 几 个 重要 结果 . 

定理 3. 7( 对 个 定理 ) 对 于 线性 规划 (3. 5) 和 (3. 6), 有 

(i)》 若 其 中 之 一 有 最 优 解 , 则 另 一 规划 也 有 最 优 解 , 且 两 规划 
之 最 优 值 相亲; 

《i) 若 其 中 之 一 目标 函数 在 可 行 集 上 无 界 , 则 另 一 规划 无 可 
行 解 ; 

( 甫 ) 若 其 中 之 一 无 可 行 解 , 则 另 一 秽 刘 无 可 行 解 或 目标 函数 
在 可 行 全 上 无 界 . 

注 这 里 的 “目标 函数 在 可 行 集 上 无 界 指 的 是 :对 求 极 小 的 
问题 言 “在 可 行 集 上 无 下 界 ”, 对 求 极 大 的 问题 言 “在 可 行 集 上 无 上 
界 ” 

证 依据 对 偶 之 对 合 性 ,只 须 证 车 条 件 对 (3. 5) 成 立 则 结论 对 
(3.6) 成 立 . 

(i)》 即 引 理 3., 5 和 定理 2. 12 的 结合 ; 

《ii) 由 引 理 3. 3 立 得 ; 

(iii) 此 款 的 逆 否 命题 为 : 另 一 规划 有 可 行 解 且 目标 函数 在 可 
行 保 上 有 界 , 则 原 规 划 有 可 行 解 ; 而 条 件 意 味 着 所 论 规划 有 最 优 解 
{从 而 它 也 是 可 行 解 ), 故 此 道 否 命题 为 (让 之 推论 , 证 毕 . 


定理 3. 8( 松 紧 定 理 ) 车 z 和 j 分 别 是 (3. 5) 和 (3. 6) 的 可 行 
解 , 则 它们 分 别 为 对 应 阿 题 的 最 优 解 的 充 要 条 件 为 
(ec 一 40e)rzo 一 0 《3. 10) 
证 按 引 理 3.4 和 引 理 3. 6 可 知 ,x* 和 * 分 别 为 对 应 问题 的 最 
优 解 的 充 要 条 件 为 
cr 一 7 加 一 (4xzo)j7jo 
由 此 即 推 得 (3, 10). 证 毕 ， 
仔细 分 析 (3. 10) , 因 有 c 一 A?X 守 0 及 zz0,(3.10) 等 价 于 
(cj — WTa) zr 一 0 一 了 
或 等 价 于 
TT >0= (Xa = 0 
{om 2 T=0,j= 1,",n 
上 式 称 为 松紧 关系 式 , 因为 有 


(Pay cs f= 1 


(3.11) 


及 
0 7 一 二 
(3. 11) 表 明 : 若 了 对 一 个 问题 是 松 的 (在 委 或 之 的 关系 式 中 取 严 格 
不 等 号 ), 则 此 了 对 对 偶 问 题 是 紧 的 (在 所 或 世 的 美 系 式 中 取 等 
号 ). 有 人 称 关 系 式 (3. 11) 为 互补 松弛 . 
将 定理 3. 8 换 一 个 说 法 , 便 得 
定理 3.9 xER" 为 (3, 5) 的 最 优 解 的 充 要 条 件 是 ,存在 
AE€ R", 使 得 
ATA—ec0 
(ATA— Tr=0 
Ar=b 
Zz 守 0 
这 个 定理 表明 线性 规划 问题 的 求解 可 以 转化 为 对 不 等 式 组 的 
求解 , 它 对 于 某 些 非 线 性 问题 的 转化 也 能 扮演 重要 角色 ， 
关于 对 称 对 偶 (3. 1) 式 ,其 对 偶 定 理 有 与 定理 3, 7 完全 相同 的 


" Af = 


令 述 ;其 松紧 定理 及 放 用 则 放 在 习题 中 讨论 . 
§ 3.3 对 侦 单 纯 形 法 


前 面 我 们 已 经 说 了 ,给 定 一 个 线性 规划 , 它 的 对 侦 问 题 是 可 以 
由 原始 规划 的 数据 表示 出 来 的 ;而 对 偶 定 理 告诉 我 们 ,知道 了 原始 
问题 或 对 偶 和 问题 的 最 优 解 , 就 能 得 到 另 一 个 问题 的 最 优 解 而 无 须 
对 它 另 外 求解 , 所 以 ,如 果 对 偶 癌 题 在 计算 上 更 吸引 人 的 话 , 就 可 
以 通过 求解 对 侦 问 题 来 求解 原始 问题 . 

不 是 去 构造 对 偶 问 题 的 单纯 形 表 ,而 是 在 原始 问题 的 表 上 进 
行 对 侦 处 理 . 依据 这 个 思想 的 完整 的 技巧 便 是 对 偶 单 纯 形 法 . 

仍 考虑 标准 型 线性 规划 
{LP) min ciz 

Ss.t, 友和 一 万 
220 
设 已 给 的 基 为 B= (ai ,oj ol )， 其 中 心 各 =1,2,…, 是 4 的 
严 个 线性 无 关 列 . 对 应 地 记 ca 一 (ch ycpy cp) Tp 二 (Tj 3 工 j， 
… ,Zz )". 对 应 的 单纯 形 表 为 
B-14 吾 -二 
| c 一 中 BA ehB'b 

单纯 形 算法 是 :给 定 一 个 可 行 基 B, 即 满足 B 'b 之 0, 通过 取 
主 运算 ,使 得 在 保持 可 行 性 的 条 件 下 ( 即 表 中 除去 右 下 角 元 的 最 后 
列 恒 非 负 }) 最 后 的 判别 数 皆 非 负 . 现在 提出 一 个 相反 的 求解 方法 : 
如 果 给 定 的 基 二 是 使 得 判别 数 非 负 , 即 满 足 一 c8B 14 关 0, 但 未 
必 有 B .65320. 能 否 通过 取 主 运算 ,使 得 在 判别 数 恒 为 非 负 的 条 忻 
下 ;最 后 的 表 中 除 右 下 角 元 外 的 最 后 列 箔 非 负 ?回答 是 肯定 的 , 这 
样 的 方法 的 实现 便 是 对 偶 单纯 形 法 . 为 了 看 得 更 清楚 些 , 我 们 给 出 

定义 3. 10 ”对 于 给 定 的 基 B, 若 

A= (ehB- 1)T (3.12) 

对 于 (LP) 的 对 侦 问 题 是 可 行 的 , 即 满足 一 六 A 之 0, 则 称 B 为 对 
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偶 可 行 基 . 
这 样 , 对 于 对 偶 单 纯 形 法 ,从 原始 问题 的 角度 来 看 , 它 的 做 法 
是 保持 最 末 行 的 最 优 人 性 条 件 向 实现 可 行 性 作 运算 . 然而 从 对 偶 的 
角度 来 看 , 它 是 在 向 最 优 性 进行 的 同时 保持 可 行 性 . 使 用 的 手段 还 
是 取 主 运算 ， 
注意 ,对 应 于 任 一 现行 的 对 偶 可 行 基 ,对 偶 问 题 的 目标 函数 值 
是 克 6 一 c8B- 芭 . 它 仍 对 应 于 表 的 右 下 角 元 . 
现在 我 们 来 推导 方法 . 首先 ,对 于 给 定 的 对 偶 可 行 基 BB, 据 定 
义 有 一 术 A 守 0, 其 中 4 由 (3.12) 给 出 ,于 是 有 
{ — Xa = 0 i= 1 m 
(3. 13) 
cj 一 Mai 六 0 一 1 
如 果 zs 二 8B %% 实 0, 则 已 得 原始 问题 的 最 优 解 . 
其 次 , 设 za 有 某 个 分 量 为 负 , 记 
Za 一 min{z/) 0 (3. 14) 
选择 ! 作为 主 元 行 . 下 面 考虑 如 何 选择 主 元 列 &, 使 得 取 主 运算 能 
够 保证 
(i) 对 偶 目 标 阔 数值 有 所 上 天, 即 祥 6 所 b,4 为 迭代 后 的 对 侦 
可 行 解 3 
《ii) 新 基 互 仍然 是 对 偶 可 行 基 , 即 对 于 他 二 c8B 1, 有 
To— NA>0. 
用 wt 表示 B 1! 的 第 i 行 ,设想 
X= eu | (3,15) 
其 中 。 为 一 待定 的 数 . 于 是 
Yo = Nb 一 eub = NE — ers, (3. 16) 
为 了 满足 条 件 (i，* 必 须 且 仅 需 ez20. 特别 若 e 汪 0, 则 对 偶 目 标 函 数 
值 严 格 增加 - 
为 了 保持 对 偶 可 行 性 ,由 (ii 必 须 有 
cr— A>0 (3. 17) 
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将 (3. 15) 代 人 (3. 17) 整 理 得 
exA>XNA—c 


按 分 重 写 出 来 就 是 
ellaj > Nay— cs f= lon {3.18) 
注意 到 waj 二 ys 让 aj 二 zy,《3.18) 即 为 
Eyj LC j= ln (3,19) 


其 中 中 以 及 Ci 一 浅 (次 0) 9 一 二 ,nn 就 是 现行 单纯 形 表 中 的 有 关 
数据 . | 
车 外 区 0 7 一 1 ns 则 由 (3, 19) 对 任意 的 es>0, 都 能 保证 A 
的 对 得 可 行 性 . 此 时 由 (3. 16) 可 知 相 应 的 对 价目 标 函 数值 趋 于 正 
无 穷 . 由 对 偶 定 理 ,原始 癌 题 无 可 行 解 . 
车 站 中 有 为 负 者 ， 若 要 保持 对 候 可 行 性 ,只 要 取 
Te Ck 


min| 人 | (3. 20) 


yn WD Ye 
(3.14) 和 (3. 20) 便 是 定 主 元 行 /和 主 元 列 的 准则 . 
最 后 要 验证 的 是 对 单纯 形 表 进行 取 主 运算 后 所 得 到 的 
i 二 (c8B-1)? 就 是 由 (3.15) 和 (3. 20) 所 定义 的 即 证 


cB-!=X ew = TB-! + a (3. 21) 


这 里 
Ca = CC IC 六 
CH 一 Ccs, SE CN CE Ch" 5 
. 万 -1 = EB-! 
其 中 Es 见 (2, 36), 它 是 取 主 运算 的 矩阵 . 于 是 


ehB-! = cEnB! 


Cr >) VAC 


= Cer" 51 人 9 Bi 
书 
Ce 一 了 ci 
一 iB-! 十 ut 


全 一 EE | 


=chB- + 
因为 先 代 中 内 是 进行 了 一 一 个 基本 变量 与 另 一 个 非 基 变量 的 交 
换 , 所 以 新 的 判别 数 行 仍 有 m 个 为 零 的 元 . 且 根 据 以 上 取 主 规则 ， 
其 它 的 w 一 m 个 判别 数 非 负 . 
我 们 将 上 面 的 推导 总 结 成 如 下 的 
对 侦 单 纯 形 算法 ”对 于 (LP) 的 一 个 对 偶 可 行 基 
B= (a 90 0) 
第 一 步 ” 定 主 元 行 / 
. Zs = B= (gtr) 
Zi 一 min{z;} 
车, 之 0, 则 算法 结束 ,对 应 于 rs 的 解 是 原 问题 的 最 优 解 . 否则 
第 二 步 ” 定 主 元 列 & 


= (cB 1)T 
Ma — ce, _ min {2 一 2] 
Sn 0 Yi 


着 无 和 即 yy 之 0,j=1,…,n, 则 算法 结束 , 原 问题 无 可 行 解 . 符 则 
第 三 步 用 a 代 垢 形成 新 基 五 ,变换 标号 
Bl 年 EB-! 
cic 
二 二 上 
返回 第 一 步 . 
关于 算法 的 收 人 急性 证 明 可 和 参见 8 2. 2. 
例 3.11 考虑 问题 
min 3zi 十 4z; 十 5zj 
s.t， Zi 十 2x2 十 37x13 之 5 
2zrl 十 2z 十 xX 守 6 
2 之 0 一 T2,3 
通过 引进 剩余 变量 及 改变 不 等 导 的 方向 得 
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现 有 一 个 现成 的 基 , 它 由 剩余 变量 组 成 ,而 且 是 对 偶 可 行 的 . 于 是 
即 可 用 对 侦 单 纯 形 法 . 取 zs 的 最 负 分 量 作为 主 元 行 , 即 上 表 对 应 
于 一 6 的 第 二 行 , 计 算 比 
3/(— 2) 一 一 3/2， 4/( 一 2) 一 一 2， 5/(—1)=—5 
了 到 最 大 的 负数 作为 主 元 列 , 即 上 表 之 第 一 列 . 主 元 已 在 上 表 括 出 ， 
作 取 主 运算 ,包括 表 上 最 末 行 相应 的 变换 , 它 是 使 对 应 于 新 基 的 判 
别 数 为 堆 . 这 样 得 
第 一 表 

0 CD) -5 1 -1 一 

1 1 1/2 0 一 1/2 3 

0 1 712 0 3/2 一 9 


主 元 行为 第 一 行 , 计 算 比 
1/(—1)=—1, (7/2)/(— 5/2) 一 一 7/5， 
(十 $/2)/(— 1/2) 一 一 3 
取 最 大 的 负数 ,得 主 元 列 为 第 二 列 . 这 样 又 得 
第 二 表 


在 对 侦 可 行 基 容 易 得 到 的 情况 下 ,可 选用 对 由 单纯 形 法 . 以 下 
列 出 一 些 常 见 的 情况 ; 


(i) 求解 
min cTz 
5,t, Ar 守 上 
之 之 0 
其 中 cz>0, 这 时 ,我们 有 单纯 形 表 中 现成 的 对 偶 可 行 基 7， 
一 4 了 一 0 
| 0 0 
可 直接 进行 对 侦 单纯 形 计算 . 上 例 即 如 此 . 
Qi) 对 于 求解 如 下 的 一 组 规划 河 题 
(LP’') min cz 
s.t. AT=b? 
X20 
t 二 1,2,"** hk 这 时 可 先 用 单纯 形 法 求 得 CLP) 的 一 个 最 优 基 BB, 从 
而 8 就 是 (LP') 的 对 偶 可 行 基 . 于 是 可 用 对 但 单纯 形 法 求解 
(LPD) ,一 2，3，… 大 
《下 ) 设 我 们 已 求 得 (LP) 的 一 个 最 优 基 B. 然后 发 现 需 要 增 涨 
某 个 约束 条 件 wz<d, 即 要 求解 
min crx 
Ss.t. AT=6b 
oxzt+rr=d 
工 字 0, zr1 字 0 
这 时 我 们 着 到 新 问题 的 基 为 
B 0 
B= 民 《3. 22) 
其 中 os 为 a 中 对 应 于 B 的 列 的 各 元 组 成 ,1 是 xz,,1 的 系数 , 则 就 
是 新 问题 的 对 偶 可 行 基 . 读者 可 自行 验证 之 . | 


$ 3.4 参数 线性 规划 


对 于 标准 型 线性 规划 


»* 2. 


(LP) min cx 
s.t, Ar=6 
Xz 之 0 
我 们 知道 ,其 中 的 c,4,5 都 是 常量 . 若 考虑 到 它们 有 时 会 变动 , 则 


得 到 了 如 下 的 线性 规划 。 
(LPy) min cf 的 了 
st. ACOrX=060) 


X20 

其 中 c(b),4(8),5(8) 是 和 的 函数 . 对 应 于 任 一 个 6 得 一 个 线性 规 
划 (LP,) , 称 0 为 参数 , 称 (LP,) 为 参数 线性 规划 , 为 简单 起 见 , 设 
9€ R. 现在 的 问题 是 ,对 怎样 的 b,(LP) 有 最 优 解 z(0)36 的 变化 
对 最 优 解 及 最 优 值 的 影响 如 何 ? 在 最 优 解 z(9) 存 在 的 时 候 还 有 一 
个 怎样 求解 的 问题 

对 参数 规划 的 研究 来 源 于 实际 问题 的 需要 , 比如 说 ,在 运输 问 
题 中 单位 货物 的 运 价 不 是 一 成 不 变 的 (对 应 于 < 的 变化 ); 物 资 的 
收发 量 也 可 能 会 变动 (对 应 于 5 的 变化 ) ,等 等 . 因此 ,对 参数 规划 
”的 研究 有 其 实用 意义 . 其 理论 研究 上 的 意义 也 日 显 重要 ， 

对 一 般 参数 线性 规划 的 研究 比较 困难 ;本 节 只 考虑 较为 简单 
的 情况 . 


1. 目标 函 孝 含 参数 的 线性 规划 


考虑 问题 
(LPCe) min cz 
St. Ar=s 
x0 


其 中 cf( 的 一 (cl(g) cs( 扑 ,c(t0)) 7 
定 尽 3. 12 设 对 某 个 7 有 
ae 0) + 1 — eB) E00 + (1 — 0b,) 
Ya€[o,ljV OER 《3. 23) 
则 称 cj( 四 为 R 上 的 四 函 数 ; 若 (3. 23) 对 j= 二 1,*…,n 都 成 立 ; 则 称 
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c《0) 为 R 上 的 冲 函 数 ， 
关于 四 函数 的 一 些 性 质 可 和 参见 第 七 章 . 
引 理 3. 13\ 设 c(9) 是 尺 上 的 四 函数 , 若 (LPC。)》 对 外 和 名 都 有 
最 优 解 ,2 委 册 , 则 (LPCo) 对 8€E [8,8] 都 有 最 优 解 . 
证 pEf[b, 负 ] 当 且 仅 当 存在 <E [0,1], 使 得 
六 一 0 + (1 — oh, (3.24) 
设 工 为 (LPCs) 的 最 优 解 ,s 二 1,2, 易 知 
al 十 【1 or 
是 (LPC,) 的 可 行 解 . 今 写 出 (LPCe) 的 对 侦 问 题 ; 
(LDGCys) max A 
s.t. A'AEelD) 
因为 (LPCs) 有 最 优 解 ,由 定理 3.7 知 (LDCo ) 亦 有 最 优 解 ,s 二 1,2. 


设 它 们 的 最 优 解 分 别 为 九 和 业 , 于 是 就 有 
47 委 c 人 2) (3. 25) 
A Ech,) (3. 26) 


分 别 以 a 和 1 一 g 弱 以 (3.25) 和 (3.26), 然 后 将 所 得 之 结果 相 加 ， 
再 利用 (3. 23) ,得 . 
fei + (1 — OR a ) + (1 — octd,) 
委 c(ag 十 (1 — oh,) 
由 《3. 24) 知 ,上 式 表 明 ai 十 (1 一 o) 开 是 (LDC 7 的 可 行 解 . 

由 此 ,CCLPC 和 (LDC) 都 有 可 行 解 ,利用 引 理 3,. 6 知 《LPC;) 
有 最 优 解 . 证 毕 . 

上 面 的 论证 法 是 巧妙 地 运用 对 偶 理 论 的 范例 ， 

引 理 3.14 设 <( 信 是 尺 上 的 连续 函数 , 设 有 数列 {9,} 守 满足 
&-=8 且 六 有 限 . 若 (LPC。) 有 最 优 解 ,* 一 1,2,…, 则 (LPC)) 亦 有 最 
优 解 . 

证 ， 因 (LPCs) 有 最 优 解 , 由 定理 2.13 知 其 有 最 优 基 , 任 取 定 
一 个 量 优 基 B,,s 二 1,2,…; 又 因为 (LPCs) 的 基 的 个 数 与 ;无 关 电 
有 限 , 故 {B.)2! 中 必 有 某 个 B, 重复 无 限 次 ; 记 为 B. 不 失 一 般 性 ， 
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与 B 对 应 的 {s} 的 子 列 仍 记 {s}. 于 是 , (LPCs ) 的 关于 最 优 基 8 的 
判别 数 应 满足 
c(37 — cp(b)TB-1AO0 (3. 27) 
利用 cl 人 的 连续 性 由 上 式 即 得 c( 外 "一 cs( 引 TB-14 污 0. 这 说 明 B 
是 (LPCs) 的 量 优 基 . 证 毕 . 
由 于 尺 上 的 丫 函数 是 局 部 Lipschitz 连续 的 (参见 第 七 章 定理 
7.5), 结 合 上 两 引 理 可 得 
定理 3. 15 ”对 参数 规划 (LPC,), 设 <(9) 是 尺 上 的 癌 函 数 , 设 
《LPCe) 对 某 个 有 最 优 解 , 则 存在 某 个 包 售 名 的 闵 区 间 [2, 殉 , 满 
足 
(i) (LPCo) 对 9E 58, 站 有 最 优 解 , 对 9<<9 及 >8 无 最 优 解 ; 
(ii) vt9) 是 [8,8 上 的 局 部 Lipschitz 连续 函数 ,其 中 w(6) 为 
tLPC,) 的 最 优 值 . 
证 (外 考虑 集合 
一 {0:8 之 8,， (LPC,) 有 最 优 解 } 
因为 (LPC。.) 有 最 优 解 , 故 G, 非 空 . 记 G 的 上 确 界 为 了, 则 存在 12 ) 
SG ,0 一 和 由 5 之 定义 知 ,(LPC) 对 9>5 无 最 优 解 的 结论 平凡 成 
立 . 车 65 有限 ,由 引 理 3. 14 知 (LPCy) 有 最 优 解 ,再 由 引 理 3. 13 知 
(LPC) 对 8€E [pg , 玉 都 有 最 优 解 ; 若 8=- 二 co, 类 似 地 得 (LPC)) 对 8 
E[%, 十 co)? 都 有 最 优 解 . 再 记 
ez 一 (292:0 委 2,(LPC) 有 最 优 解 } 
与 上 类 似 的 论证 便 完成 了 (iD 的 证 明 ， 
tii》 记 CLPCo) 的 基本 可 行 解 集合 为 {x1 ,x?,…,x?)}. 由 定理 
1.10 之 (ii) 立 得 
v0) = min {ec(O)"z}, 0 € [8,8] (3. 28) 
由 于 每 个 <(9)7 二 都 是 丸 上 的 局 部 Lipschitz 连续 函数 , 故 上 式 表 
明 *( 纺 是 [8&, 信 上 的 局 部 Lipschitz 连续 函数 .证 毕 ， 
下 面 讨论 定理 中 的 9 和 8 的 求法 , 仍 设 c<( 信 为 玉 上 的 凹 函 数 . 我 
们 只 给 出 5 的 求法 ,对 8 的 求解 可 如 法 炮制 . 设 对 (LPC。) 已 有 了 一 
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个 最 优 基 Bo, 写 出 (LPCs) 关 基 B。 的 单纯 形 表 
By1A Bi'b 
c(07 — cp (DT BA 一 ca (0)" Bi 二 
表 中 已 有 Bs 15 之 0, 再 考虑 关于 6 的 不 等 式 组 
c(07 — ca (Bo 4 之 0 (3, 30) 
注意 , (3. 30) 对 8 一 负 是 成 立 的 ; 若 某 个 六 使 (3. 30) 成 立 , 则 Bo 也 是 
(LPCy) 的 最 优 基 . 设 使 (3. 30) 成 立 的 最 大 的 8 为 页, 分 若干 情况 ， 
《17 车 页 不 存在, 即 对 任意 村 渤 轴 总 有 98>M 使 (3. 30) 成 立 ， 
则 6= 十 co; 
(2) 若 本 存在 , 即 (3. 30) 对 8 一 克成 立 , 且 存在 (3. 30) 左 端 向 量 
的 第 个 分 量 , 记 为 .C9) ,其 满足 
neB) = 0; nO <0,0> 有 FC— 充分 小 (3. 31) 
注意 , (3. 30) 中 有 m 个 不 等 式 对 任意 9 便 作 为 等 式 成 立 , 它 们 是 
关于 基 B, 的 基 变 量 所 对 应 的 式 子 . 从 而 由 (3, 31) 之 第 二 式 知 对 应 
的 a 是 关于 Bo 的 非 基 向 是; 而 C9) 则 是 对 应 的 判别 数 . 
选 as 作为 进 基 向 量 , 分 两 种 情况 讨论 ， 
ta) 在 (3.29) 中 a 列 的 元 ya,i=1,…,m 此 非 正 . 注意 到 诸 
由 尼 与 8 无 关 及 (3. 31) 之 第 二 式 , 利 用 定理 2. 6 知 (LPCs) 对 充分 
接近 名 的 > 本 无 最 优 解 ;从 而 由 引 妊 3. 13 即 推 得 (LPCs) 对 任意 8 
>B 名 亦 无 最 优 解 . 因此 5 二 所 ;否则 ， 
Cb》 取 l:yn/ yn =mint yo/ yn} 车! 的 选取 不 唯一 则 使 用 字典 
顺序 法 }, 取 yi 为 主 元 对 (3. 29) 作 取 主 运算 得 新 基 Bi. 
注意 , (3. 31) 的 第 一 式 产 ( 贡 ) 一 0 表明 :在 9 一 负 时 , 表 (3,. 29) 
的 量 末 行 在 取 主 运算 后 未 有 变动 由 于 (3. 30) 对 于 9 一 名 成 立 , 故 
Bo 和 Bi 都 是 (LPCs) 的 最 优 基 . 
视 Bi 为 Bo 重复 以 上 过 程 ,有 限 次 重复 后 即 找到 5 
在 


(3. 29) 


c=c 十 人 
"SO* 


时 ,其 中 < 和 6 为 给 定 的 n 维 列 向 量 , (LPCy) 成 为 
- (LPO,) min (e+) zr 
| gt. Art=b 
X20 

注意 ,向 量 c 十 CG 的 任 一 分 量 自 然 满 足 (3.23), 故 定理 3.15 对 
(LPC,) 亦 成 立 , 此 时 ,(3. 28) 的 花 括号 中 有 

ke 十 名)7 一 (erz9g 十 (err A LW) (3. 32) 
它 是 6 的 线性 函数 . 仍 记 (LPCo) 的 最 优 值 为 w(b). 利用 (3. 28) 我 
们 能 够 给 出 在 9 一 4 时 的 v(9) 的 图 像 , 其 中 粗 线 所 示 表 v(9). 结合 
(3.32) 可 从 图 3. 1 中 看 出 :在 [9, 挫 ] 中 基本 可 行 解 x' 是 最 优 解 ,在 
[8.,8.] 中 基本 可 行 解 x 是 最 优 解 ,在 [9,,6] 中 基本 可 行 解 局 是 最 
优 解 . 


凤 3.1 


定理 3. 16 ”对 参数 线性 规划 (LPC,) , 设 其 对 某 个 久 有 最 优 
解 , 则 . 

(iD 存在 某 个 包 依 铝 的 闭 区 间 [&, 列 : (LPC,) 对 9E€ [9, 下 有 最 
优 解 ,对 8<-8 及 09>8 无 最 优 解 

(i) 设 8 一 和 时 的 最 优 基 术 豆 去 铝 只 2 ,由 有 有 在 6 和 久 ,性 涌 ，: 
当 4E [9,, 负 ] 时 zx? 都 是 最 优 解 ,而 当 6 和 58 8] 时 mm 不 是 最 优 解 
(可 能 9, 二 -co ,或 页 一 十 co); 
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(省 ) 着 %<5, 则 存在 一 个 基本 可 行 解 己 , 它 对 0 一 名 是 最 优 
解 ,而 对 29< 丽 不 是 最 优 解 : 若 名 >2, 则 存在 一 个 基本 可 行 解 二 , 它 
对 0 一 名 是 最 优 解 ,而 对 0>>2 不 是 最 优 解 

(iv) (LPC)) 的 最 优 值 (9) 在 [8, 下 上 是 连续 的 .分 段 线性 的 
止 函 数 ， 

给 定 了 定理 中 的 加, 则 其 中 的 名 ,名 ,z+,z?,9,5 都 可 以 用 单纯 
形 法 求 得 (参见 定理 3.15 以 下 的 一 自 话 中 给 出 的 方法 ). 此 时 ,不 等 
式 (3. 30) 都 是 线性 不 等 式 ,求解 很 容易 , 


2. 等 式 约束 常数 项 含 参数 的 线性 规划 


考虑 问题 
(LPB,) min cx 
s.t。4z 一 5 十 多 
T 这 0 
其 中 ER 为 给 定 . 它 的 对 偶 问 题 为 
(LDB,) max (5 十 唆 )"4 
gs.t. ATAEe 
定义 新 的 变量 wyv,wE€ 避 ;以 及 4 二 uw 一 v， 则 上 规划 可 化 为 等 价 的 
(LDB,) min — (b+)T (u—v) 
gt, AT(u—v) t+w=e 
WU OO 
由 下 面 的 关系 


(LPBs) 有 最 优 解 富 (LDBs) 有 最 优 解 合 (LDBs) 有 最 优 解 
可 知 ,对 (LPBy) 的 研究 可 转化 对 (LDB) 的 研究 ,而 (LDBs) 与 
(LPG,) 的 形式 是 相同 的 , 于 是 可 得 到 与 定理 3.16 之 (i) 一 (证 ) 相 类 
似 的 结果 . 又 由 于 (LPB,) 的 最 优 值 5 人 与 (LDH) 的 最 优 值 的 相 
反 数 相等 .类 似 于 (3. 28), 设 {LDBs) 的 基本 可 行 解 集合 为 
1 2 ur - 
| v2 | (3. 33) 
vw 


uw tu 


vy 


[Pe 


wl! 和 Fy 


To! 


R=, i= lp (3. 34) 
于 是 就 有 
0) = max {Cb 十 WY} = max {2:(0)} (3. 35) 
其 中 
LC0) = (6 + OB)TX = (8r106 + (TX) (3. 36) 
上 式 可 以 看 成 是 (3. 32) 的 对 侦 形 式 . 容易 从 图 像 中 看 出 ,由 (3. 35) 
给 出 的 58) 是 只 上 的 连续 的 .分 段 线性 的 (下 ) 凸 函数 ， 

定理 3. 17 对 参数 线性 规划 (LPBs), 设 其 对 某 个 名 有 最 优 
解 , 则 

(i) 存在 某 个 包含 名 的 闭 区 间 [9, 外 ; (LPBy) 对 9E [9, 四 有 最 
优 解 ,而 对 6 各 [8 的 无 最 优 解 ; 

(Ci) 设 9 一 负 时 的 最 优 基 为 B, 则 存在 加 和 本 ,使 得 ; 当 8E 
[: 负 ] 时 Bo 都 是 最 优 基 ,而 当 6 在 [ 名 , 交 ] 时 及 不 是 最 优 基 ( 可 能 b。 
三 一 co ,或 讽 一 十 co)) 

《 道 ) 车 铅 <<6, 则 存在 一 个 对 偶 可 行 基 已 , 它 对 0 一 现 是 最 优 
基 , 而 对 8< 负 不 是 最 优 基 ; 若 4>>9, 则 存在 一 个 对 偶 可 行 基 B,, 它 
对 4 一 4 是 最 优 基 ,而 对 b>8 不 是 最 优 基 ; 

liv) (LPBs) 的 最 优 值 六 (四 在 [8, 引 上 是 连续 的 ,分 段 线 性 的 
丁 匡 数 . 

为 了 求 得 定理 中 的 名 ,后 ,B1,B,,9,5, 设 (LPBs ) 已 有 了 一 个 最 
优 基 Bu, 写 出 (LPB") 关 于 基 B, 的 单纯 形 表 ; 

BT14 Br 十 由) 
chBA — cB ry) 
表 中 已 有 一 cs Bi 4 之 0. 为 保持 可 行 性 ,应 考虑 线性 不 等 式 组 ; 
Br 十 扩 ) 宇 0 (3. 38) 


利用 对 侦 单 纯 形 法 ,与 (3. 29) 以 下 的 一 自 话 作 “ 对 偶 的 ”分 析 可 得 
所 需 的 方法 . 详 述 略 . 

最 后 我 们 指出 ,如 果 线 性 规划 (LP) 是 非 退 化 的 ,于 是 在 表 
(3.37) 中 总 有 Bo 二 >>0. 从 而 对 充分 小 的 8 亦 有 


《3. 37) 


s 号 0。 


Br)>0 (3. 39) 

设 B 为 (LP) 的 最 优 基 ,于 是 对 充分 小 的 8, (LPBo) 的 最 优 值 就 是 

已 BT 十 0). 记 加 一 (c8B -07, 它 是 (LP)? 的 对 偶 问 题 的 最 优 解 ， 
于 是 对 充分 小 的 58, (LPBs) 的 最 优 值 为 

pa + (OB)TH (3. 40) 

由 于 此 时 芳 尼 也 是 CLP) 的 最 优 值 ,(3. 40) 表 明 对 非 退 化 的 (LP),6 

经 过 小 拢 动 角 后 成 为 5 十 名 ,最 优 值 的 变化 就 是 (6)"*, 而 (LP) 
的 对 偶 的 最 优 解 如 就 是 相应 的 变化 率 . 


习 题 


1. 验证 对 称 对 钢 (3.1) 式 的 对 合 性 , 妈 对 偶 的 对 惕 是 原 问 题 . 

2. 对 于 对 称 对 偶 (3. 1 式 ， 

《iD 写 出 并 证 明 其 松紧 定理 ; 

(ii) 设 已 知 例 1.1 有 最 优 解 (1000,2500), 利 用 松紧 定理 求解 其 对 但 问 题 
《3. 3). 

3. 构造 一 个 原始 问题 , 它 本 身 及 其 对 侦 均 无 可 行 解 . 

4.Farkas 引 理 ; 对 所 有 满足 Ax 之 0 的 z+ 都 及 Tf 之 0, 其 充 要 条 件 是 存在 
Jy 宇 0 使 得 4'y 二 =. 

证 明 Farkas 引 理 与 对 惕 定理 是 等 价 的 . 

5. 双 线 性 Stackelberg 问题 如 下 ; 
(BSP) maxF (x) 


其 中 天 是 谨 中 的 非 空子 靠 * 且 
Ft.r} 一 二 


Yo(#) 


Yo(z) 一 {y€ Yb'y 一 max w)} 


了 = ft3E R".Gy=— gy 0) 
A41G 都 是 给 定 的 矩阵 ,aaicyg 都 是 给 定 的 向 量 , 它 们 维 数 怡 使 以 上 的 表达 
式 有 意义 . 


利用 对 偶 理 论 将 上 面 的 问题 (BSP) 化 为 
(BSD) max pz—g uta' rr 


人 站 


st. 4 了 z 十 GT 一 而 之 一 < 
Gz=Ag: ZO,A0 
-4 


a 60， 


写 出 这 两 个 规划 的 最 优 值 和 最 优 解 之 间 的 关系 . 注意 , 若 大 由 线性 等 式 或 线 
性 不 等 式 所 描述 , 风 (BSD) 已 是 线性 规划 ,而 (BSP) 却 是 比较 复杂 的 问题 . 
6. (i) 用 单纯 形 法 求解 
min 2z 十 3zz 十 24, + 2z 
st， zl 十 2rs 十 zs 十 2r, 一 3 
TI 十 Ye 十 2r3 十 4z 一 5 
T2011= 1,2,3;4 
(iD 将 等 式 约 东 右 端 分 别 改 为 8 和 7, 再 利用 对 偶 单 纯 形 法 解 这 个 新 问 
题 . 
7. 证 明 由 (3. 22) 定 义 的 万 是 那里 问题 的 对 偶 可 行 基 . 
8. 假设 线性 规划 (LP) 是 非 退 化 的 . 不 用 对 侦 理 论 而 用 直接 在 单 统 形 表 
(3. 29) 上 作 取 主 运 算 的 方法 证 明定 型 3. 16， 
9, 作 一 个 由 (3. 28) 所 定义 的 v(9) 的 一 个 图 像 ,其 中 < 人) 取 为 一 般 的 四 
函数 ;再 进一步 理解 定理 3.15 下 面 有 关 求解 6 的 那 段 话 . 
10. 对 所 有 的 8 求解 线性 规划 


max (1+ x — {1 — rs 
Bt, IT 十 2 十 一 3 
Xl 一 2ze + 一 】 
—2r x 十 的 一 2 


TO0, j=1,2,.3,4;5 
11. 研究 原始 线性 规划 问题 
min cx 
Ss.t. Ar=4 
> 之 10 
息 定 这 个 问题 与 其 对 偶 都 有 可 行 解 . 令 4 是 对 偶 问 题 的 一 个 最 优 解 
GD 车 用 p 天 0 委 以 诛 问题 的 第 个 方程 , 试 确定 所 得 新 问题 的 对 偶 量 优 
和 解 ws . 
ii) 将 原始 问题 的 第 让 个 方程 的 倍加 到 第 7 个 方程 上 ,新 问题 的 对 个 
最 优 解 是 什么 ? 
(着 > 将 原始 问题 中 4 的 第 不 行 的 产 倍加 到 <* 上 ,所 得 新 问题 的 对 个 最 优 
解 又 是 什么 ? . 
12. 用 第 一 章 习 题 5 的 结果 直接 证 明 引 理 3, 13. 


-61* 


第 四 章 ”运输 问题 


运输 问题 的 数学 模型 如 下 ; 
已 知 >0t= 1 mb 0,7=1 2? 广 足 
2 14i 一 D5; (4- 1) 


及 mrXn 阵 (ei) vc; 之 0. 


求 mXn 阵 (zx;) ,其 为 下 问题 的 解 ， 
min > DV esry (4. 2) 
fm 到 1 /一 1 
8,t, Dixy = a ? 一 二 【44 3) 
J 一 1 
2 = Vis 了 一 1 sw sn 《4， 4) 
zi 之 0， i= 1 ms f= 11, n 
若 记 (4.1) 的 值 为 @, 则 取 
Xi 一 ab/Q 


易 知 这 样 的 (zz) 便 是 运输 问题 的 一 个 可 行 解 . 又 易 知 可 行 解 集 是 
有 界 的 闭 集 . 故 运输 问题 必 有 解 . 

运输 问题 是 形成 最 早 的 线性 规划 问题 . 由 于 它 的 结构 的 特殊 
性 ,到 目前 为 止 已 有 很 多 有 效 的 求解 方法 . 我 们 这 里 只 介绍 标号 
法 ,或 称 网 络 流 法 . 

我 们 已 经 知道 ,运输 问题 的 对 侦 问 题 是 


max Sa 十 Sw, 
i=1 j=1 
83. t, uu; 十 vj A Ca 1 二 1 一 二 好 
将 松紧 定理 (定理 3.8) 用 于 上 两 规划 ,我 们 得 到 
"ff2s 


定理 4. 1( 运 输 问题 的 判别 定理 ) (xz) 是 运输 问题 的 最 优 解 
“的 充 要 条 件 是 存在 (zz9) : 


2 = = 1 m (4. 5) 
ijl 
Dr = j= 1 sn 《4. 6) 
fm 了 
WW 二 Wc i= lm j= 1 n (4,7) 
并 且 
当 相 十 外 近世 时 , 砂 一 0 (4. 8) 
当 妇 十 砚 一 品 时 ,攻守 0 (4. 9) 


现在 介绍 方法 . 其 基本 思想 是 从 一 组 (wi,w;) 到 另 一 组 (xn;,v;) ， 
使 得 它们 总 满足 条 件 (4. 7); 并 且 当 2 十 Us<cj 时 规定 zi 一 0, 这 样 
条 件 (4. 8) 也 满足 ;与 此 同时 ,对 其 余 的 2 在 非 负 的 条 件 下 ( 即 满 
足 (4. 9) 式 ?进行 适当 调整 ,最 后 使 zw 满足 (4, 5) (4. 6). 这 样 便 得 
运输 问题 的 最 优 解 . 因此 这 种 解法 实质 上 是 对 侦 方 法 . 

运输 问题 的 标号 法 

第 一 步 ” 求 (4.7) 的 一 个 初始 解 ,例如 可 取 


uy 一 min c;;, 2 一 = 1 ,e190 
1 jn 
Wo min (cr — w), j= 1 sn 
. 1 专属 m 
注 夫 二 wwf 十 (cw) =e; 
第 二 步 ” 利 用 Cw? ,加 ) 形 成 畏 助 问题 
min 之 /多 十 z= 2D)y,) 
和 j=1 fl 
8.t. Dz 十 Y=01= ym 
j=l 
Dx 十 名; 一 六 了 一 1] ，*… 办 
1 
Xi 0， 入 六 四 Zi 人 0 
Zi 一 0， 当 w 二 we 
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为 了 描述 求解 辅助 向 题 的 算法 ,我 们 把 问题 表 为 下 表 


表 中 每 一 小 方 格 上 ,7 力 对 应 于 变量 xi. 称 使 好 十 允 一 的 方 格 为 话 
方 格 ;使 直 十 四 <cv 的 方 格 为 死 方 格 . 那么 辅助 问题 的 求解 可 以 描 
述 为 :在 各 活 方 格 中 填 人 非 负 数 zi;, 要 求 各 行 之 和 不 超过 ;各 列 
之 和 不 超过 5, 且 使 填 和 人 的 各 数 之 和 为 最 大 

求 出 使 好 十 丰 一 co 的 所 有 (, 力 , 定 出 活 方 格 ? 

第 三 步 ”求解 辅助 问题 

1* 给 定 辅助 问题 的 一 个 初始 可 行 解 ( 码 , 交 , 允 )， 若 所 有 的 
六 二 0, 则 (z) 已 满足 (4. 5)、(4. 6), 即 为 最 优 解 ,算法 结束 ;否则 ， 
将 所 有 的 E> 汪 0 的 行 都 标 以 (十 ) ,然后 执行 

2" 检查 每 一 新 被 标 上 号 的 行 ,例如 第 i 行 ,将 该 行 中 所 有 活 
方 格 所 对 应 的 尚未 标 上 号 的 询 , 都 标 以 (十 个; 

3" 检查 每 一 新 被 标 上 号 的 列 , 例 如 第 7 列 , 荐 这 时 允 >0 则 转 
到 4 否则 ,将 该 了 列 中 所 有 使 zz) 汗 0 但 尚未 标 上 号 的 行 都 标 以 
(一 力 , 转 回 2"; 

车 算法 终止 于 2" 或 3", 则 转 人 第 四 步 . 

4* 设 列 庆 使 忆 >0, 且 得 到 了 标号 (十 ?), 再 设 i 行 的 标号 为 
(一 和 Dj- 列 的 标号 为 (十 zw… 依 次 追踪 返回 ,可 得 如 下 的 
活 方 格 序 列 ; 


6 和 4 。 


(jo ’ jo) 看 » jo) (11 » i) 《 tz 9 Jj 


{+) {+io) 《一 和) 《十 站 【一 万 ) 
(4. 10) 
bls ji2) (je 5 Fj-1) 《 fs fr-1) (和 9 2) 
(—-2) {Ti Ci) (+i) 
其 中 按 标号 规则 有 


名 >0， 2 >0 
2 0， £== D， 1 + “st—1 
在 标号 列 (4,10) 上 ,对 解 ( 世 ,六 , 邓 ) 作 调整 如 下 , 记 


二 1 0 
和 一 ob tt 1 


9 = minfb 区， 双 } 


二 R=0,1,* 
8, k= 0D, 1,** ,st—1 


名 
而 其 余 的 三 ij= ,N= Yi ?一 区 

以 (Bs; 代替 C ,2z0) , 转 到 1 

注 1 根据 9 的 取 法 ,容易 验证 (zj, 吉 ,z) 仍 是 辅助 问题 的 可 
行 解 , 其 目标 消 数 值 较 前 减少 了 正 数 25. 

注 2 假如 终止 于 2 或 3 ， 即 腊 未 发 现 已 标号 的 列 记 使 好 >0; 
也 无 新 获 标号 的 行 或 列 . 这 时 已 获 辅助 问题 的 最 优 解 . 兹 证 如 下 : 


将 行 和 列 重新 排 成 下 表 的 形式 
让 二 
J{ 已 标号 的 列 ) (未 标号 的 列 ) 
ft 已 标号 的 行 ) A B 芒 =6 
1 未 标号 的 行 ) C 翅 =0 Db 
从 表 中 ,我 们 可 以 看 到 下 列 事实 ， 


(a) 如 中 没有 活 方 格 (不 然 的 话 ;J 中 的 列 就 要 被 标号 )， 


(b) C 中 所 有 的 方 格 有 区 一 0( 不 然 的 话 ,7 中 就 有 行 被 标 
号 ); 

(ec)} 了 中 的 行 i 都 使 六 =0( 不 然 的 话 ,一 开始 就 被 标 上 号 )， 

(d) J 中 的 列 7 都 使 六 一 0( 不 然 的 话 ,已 转 到 4?)， 

因此 ,对 辅助 问题 的 任何 可 行 解 (zij,y,%) ,注意 到 在 BB 中 的 
Xj 三 0; 有 


Dp 
这 就 证 明了 (z, 史 , 忆 ) 是 输 助 问题 的 最 优 解 . 
第 四 步 ” 改进 对 候 可 行 解 
设 在 第 三 步 终 下 时 ,我 们 得 到 了 表 二 . 因为 B 中 没有 活 方 格 ， 
故 
$= min, {ty 一 起 一 WW) 之 0 
取 
五 一 让 十 和 ET 
三 ， fi GE 了 
T= —H, jEJ 
5D; = vs jE€EJ 
以 (十 ,07) 代 震 (z ,ww) , 转 到 第 二 步 ，; 
注 1 按 了 到 法 易 检 
十 和 cs iEljE€EJ 
ww 二 wR iEITIjEJ 
we iETijEJ 
丰 十 四 所 co GE 了 GE 了 


全 
L 


( 2 十 2 全 一 | Da 十 2 


= Dp 2 一 2 — > 
故 改进 了 对 偶 下 行 解 . 
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注 2 在 abc 是 整数 的 假定 下 ,算法 可 在 有 限 步 内 求 得 运 
输 问 题 ( 包 含 其 对 偶 问 题 ) 的 最 优 整 数 解 ,只 要 我 们 所 给 的 初始 可 
行 解 (7 ,六 , 慌 ) 是 整数 时 ,这 是 因为 此 时 第 三 步 中 的 9 和 第 四 步 
中 的 6 者 是正 整数 , 故 调整 后 的 解 也 必然 是 整数 解 , 且 目 标 函 数值 
每 次 都 改进 一 正 整数 ， 

注 3 ”在 解 新 辅助 问题 时 ,可 利用 前 辅助 问题 的 最 优 解 作为 初 
始 可 行 解 ,对照 (4, 11} 和 表 二 可 知 , 新 旧 畏 助 问题 在 4,D 中 的 活 
方 格 没有 变动 ;而且 B 和 和 C 中 的 避 =0, 所 以 本 注 之 方法 可 行 . 

例 4.2 一 个 运输 问题 可 用 下 表 给 出 : 


1) 了 到 志 一 1 一直 二 12, 丰 一 2 友 一 友 一 如一 0 


2) 解 辅助 问题 


方 格 内 的 数 为 在 活 方 格 内 填 数 .标号 ,标号 终止 
人 咯 一 避 一 好 一 到 于 第 三 步 的 34 故 得 输 助 问题 的 
因此 使 cj 二 0 的 为 插 方 格 是 优 解 . 取 6 一 min{3,2,4,6) 一 和 
3) 改 进 对 偶 解 


| il 一 1 ,zs = ws 一 14， 


Vi 2 = OW 一 人 一 一 2 


4) 解 辅助 问题 


《十 2)( 十 2X 十 3) 


特 原 量 优 解 域 人 人 ， 在 余下 的 颖 方略 
内 加 办 : 标 号 ， 得 标号 序 {(2,2)}， 
取 9 一 min{6 一 413 一 2} 一 1, 调 整 得 


《十 1X 十 2 十 2 其 十 3) 


标号 ,得 标号 序 标号 ,知已 得 办 助 问题 之 
{C2 ， 2)， 2， 2) , (1 了 最 优 解 . 取 


《十 交 十 2] 《一 
取 9 一 min{ 双 :2,6 一 4 一 1.3 一 0 一 1， 6=min{2,4,3}=2 


调整 得 
5) 改 进 对 侦 解 
4 一 11,z> 一 1 4 zt3 一 16， 
v1 一 2 ,vs 一 0 ,vs 一 一 2 74 二 一 44 
6) 解 辅助 问题 


标号 ,得 标 并 序列 {K3,1)}， 无 任 条 行 可 标号 ， 故 得 

家 9g 一 minf7--5，3--1}= 运输 问题 的 解 ,对 偶 最 

2, 调 整 后 得 优 解 就 是 5 中 给 出 的 改 
进 对 偶 解 . ) 
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1, 求解 下 述 运输 问题 


2. 证 明 在 运输 问题 中 线性 等 式 约束 是 线性 相关 的 . 从 而 再 证明 其 对 侦 问 
题 的 解 不 叭 一. 


s 人 人 


第 二 部 分 “ 非 线性 规划 


第 五 章 ” 非 线性 规划 问题 


3 5.1 引言 及 基本 概念 


非 线 性 规划 的 一 般 模 型 为 
(P) min f(x) 
其 中 5 为 R" 的 子 集 ,f(z) 定 义 在 S 上 或 R* 上. 
当 S=R" 时 ,对 应 的 规划 4P) 称 为 无 约束 问题 ; 当 3 为 产 的 
子 集 时 ,对 应 的 (P) 称 为 约束 问题 .问题 maxcesf(x) 可 化 为 等 价 的 
minyes 一 f(x), 故 仅 需 考虑 极 小 化 问题 . 称 S 为 (P) 的 可 行 集 , 可 
行 集中 的 点 开 称 为 可 行 点 ,或 说 点 去 对 《4P) 可 行 , 称 (x) 为 (P) 的 
目标 函数 ,使 上 在 35 上 取 到 极 小 的 点 x" 称 为 (P) 的 最 优 解 ,或 称 
为 (CP) 的 解 , 对 应 的 目标 函数 值 称 为 问题 (P) 的 最 优 值 . 极 小 点 的 
确切 定义 如 下 : 
定义 5.1 设 5 为 "中 的 非 空 集 ,f:SR. 对 xz" E€5, 若 存在 
<>>0 使 得 
fz) fT) TE Sf Ol’ 6) 《5, 1) 
其 中 加 (ze) 为 到 中 的 以 工 为 球 心 为 半径 的 开 球 , 即 
Or’ 5) = {TE Rr — zx" < e} 
则 说 zx* 是 了 在 5 上 的 一 个 局 部 极 小 点 ; 若 
| fxr) fr' ES 《5. 2) 
则 说 xz* 是 下 在 S$ 上 的 一 个 全 局 极 小 点 . 又 若 (5, 1) (或 (5.2)) 对 
xz" 严格 成 立 , 则 说 z* 是 了 在 8S 上 的 一 个 严格 局 部 (或 严格 全 
局 ) 极 小 点 . 
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特别 地 ,我 们 称 问 题 
(NP) min f(x) 
St, htr)=0, i=1, ,mm 
gCTIE0, j=1,°%,p 
为 标准 非 线 性 规 划 . 其 中 了 ,hi,g; 都 是 严 上 的 实 值 画 数 ,*a.t. " 表 
示 “ 受 限制 于 ”, 取 自 英文 “subject to” 的 缩写 , 称 有 (zx) 二 0 为 等 式 约 
东 ; 称 g(x) 志 0 为 不 等 式 约束 , 若 采用 向 量 的 形式 , 记 
ACT) = hr) hx) hr))T (5. 3) 


BT) = (giT) BT) ,BoCT) YT 《5. 4) 
则 有 紧凑 的 形式 
(NP) min f(x) 
s.t. hl(z)=0 
Cr)s0 


在 太一 1 下 都 为 线性 函数 时 ,对 应 的 
问题 称 为 线性 规划 . 线性 规划 的 一 种 标准 型 为 
(LP) min cz 

$s.t. Ar=p 
Zz 之 0 

其 中 4ER ,cE R',bE R" 为 固定 ,xE R' 为 变量 , 关于 线性 规划 
的 一 般 理论 和 算法 ,可 参见 [4].[11]、F24] 和 [25]. 

如 果 在 CNP) 中 ,了 和 g; 都 是 凸 函 数 且 方 篆 为 线性 函数 , 则 称 
这 一 类 问题 为 标准 凸 规划 , 这 种 规划 特别 便于 分 析 , 它 具 有 某 些 有 
趣 的 性 质 ,在 理论 和 实际 应 用 中 都 吸引 着 人 们 ,有 关 同 函数 的 许多 
性 质 都 可 以 在 [17] 中 找到 . 

第 五 章 至 第 九 章 主要 讨论 非 线 性 规划 的 理论 问题 , 这 包括 给 
出 最 优 解 的 判别 准则 , 即 最 优 性 条 件 ( 充 分 条 件 或 必要 条 件 ) ;研究 
非 线 性 规划 问题 在 最 优 解 处 的 性 质 , 对 偶 和 鞍点 ,等 等 . 第 十 章 至 
第 十 三 章 讨论 如 何 求解 一 个 非 线性 规划 问题 ,这 方面 的 内 容 也 称 
为 最 优化 方法 . 如 不 作 特 别 说 明 , 求 解 一 个 非 线性 规划 问题 的 涵义 
是 求 一 个 最 优 解 向 量 =" ,而 不 是 求 可 能 存在 的 所 有 最 优 解 . 应 该 
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指出 ,本 部 分 的 某 些 结果 也 适用 于 抽象 空间 中 的 分 析 , 有 兴趣 的 读 
者 不 妨 试 着 作 一 些 推导 , [1].[2] 和 [12] 都 是 非 线性 规划 方面 的 较 
好 的 参考 书 ,[23] 对 无 约束 问题 的 求解 方法 有 较 全 面 的 论述 . 

一 般若 不 作 说 明 , 带 有 下 标的 字母 (如 六 ,yzy) 表 示 数 量 , 带 
有 上 标的 字母 (如 性 ,好 ) 代 表 向 量 , 设 > 为 向 量 ,z 闻 0 表 z 的 每 个 
分 量 非 负 ,>>>0 表 x 的 分 量 和 缘 正 ,zx=0 表 > 的 分 量 篆 为 零 ,等 等 ， 

设 了 在 尺 上 连续 可 微 ( 记 为 AEC1) , 记 z 一 (rpmyzo)7， 
再 记 

ar ”ar ” ”3 

称 YFCz) 为 了 在 zz 处 的 梯度 .再 设 了 在 吕 上 二 次 连续 可 徽记 为 
EC2) , 记 


VCr) = 


BCr) 学 矿工 ) ,, Ff(z) 
acdr grzari EE 
FFX FF) ,, Ffz) 
了 rz 一 | ariare Brsars dzGzz 
Brz) Pf) ,, f(x) 
Adridr, rd. Baz， 


称 V27(z) 为 fz) 在 z 处 的 二 阶 导数 阵 , 或 Hesse 阵 . 


8$ 5.2 几 个 实例 


非 线性 规划 在 工程 .军事 、 经 济 学 ,企业 管理 .物理 学 等 方面 都 
有 重要 应 用 . 这 里 仅 举 数 例 说 明 . 

例 5. 2(Sylvester 问题 ) 设 平面 上 有 mr 个 点 , 找 禾 兽 这 mn 个 
点 的 最 小 贺 盘 . 

设 这 ze 个 点 为 户 = 1 平面 上 任 一 点 = 到 各 点 距离 之 
最 大 者 为 f(z) 一 maxiesen{|z 一 由. 以 为 圆心,F(z) 为 半径 的 
圆 描 必 覆盖 这 m 个 点 ,于 是 问题 转化 为 求解 下 面 的 非 线 性 规划 ， 


"7172. 


min max {lz — pll} 《5, 5) 


它 是 一 个 无 约束 问题 ,其 目标 函数 /(z) 在 某 些 点 不 可 微 . 请 读者 
证 明 , 上 问题 可 化 为 求解 如 下 的 可 微 约 束 优 化 问题 ， 


mp 
| t, rr 完 |x— pl i = 1 ,mm (5, 6) 
reR 
例 $. 3( 场 址 问题 ) 设 有 4 个 商店 ,其 位 置 和 对 货物 的 需求 都 
是 已 知 的 ;其 货物 由 xm 个 仓库 提供 ,仓库 的 容量 也 是 已 知 的 . 决定 
这 m 个 仓库 建 于 何 处 ,使 得 由 仓库 提供 各 商店 货物 中 的 运 量 与 路 
程 之 积 之 总 和 为 最 小 ， 
设 (zi,yi) 为 仓库 的 设 址 ,i=1,…,m， 
6 为 仓库 的 库容 量 ,i==1,…,m， 
《aysb)) 为 商店 的 位 置 ,j= 二 1 ,…,n， 
ry 为 商店 对 货物 的 需求 量 ,7 二 1,*… ,nn， 
dj 为 从 第 i 个 仓库 到 第 7 个 商店 的 路 程 ,¥ i,j， 
wi 为 从 第 i 个 仓库 到 第 j 个 商店 的 运 量 ,Y i,j. 
于 是 场 址 问题 的 数学 模型 为 
min 3 Sam 


i=1 j=! 


Ss, t. Dw < ci z 一 ly ,1 
jl (5.7) 


mn 
Dw = rs j= 1 on 
iml 


wi 0 = lm, j= 1 sn 
注意 ,在 问题 (5.7) 中 di 和 ws 都 是 变量 ,所 以 它 是 约 东 为 线性 的 
非 线性 规划 ,其 中 的 路 程 di 可 各 取 为 下 两 者 之 一 ，; 
| dr 一 | 一 要 | 十 |y — bl 
dj = L(x — a + Cy — 6) 
又 ,车 仓库 的 地 址 是 预先 固定 的 , 则 此 时 的 ad 都 是 常量 ,对 应 的 问 
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题 (5.7) 便 成 了 线性 规划 . 这 种 规划 作为 运输 问题 ,是 最 早 形成 的 
线性 规划 . 

例 5. 4( 供 水 网 络 中 的 最 优 设计 ) 设 有 一 个 供水 网 络 , 它 由 某 
个 连通 图 给 出 ,此 图 有 个 结 点 ,t 条 弧 ,m 条 独立 的 回路 . 假定 供 
水 只 设 在 一 个 结 点 处 ,再 假设 在 每 条 弧 中 的 流量 为 gj* 压 强 差 为 
名- 我 们 就 有 下 面 的 数学 模型 


min DV cprat 《5. 8a) 
iml 

sg,t, Dg— >， Qj; = bsk = 1 ,7 (5, 8b) 
iE 1(h) EO 
了 >) pp 一 Ol 三 ] ,9 {5, 8c) 


也 


Dp ho — himinsr Ck) €E RE ,R= lye on. (5. 8d) 


i€Erta) 
ga EE ,mess i 一 ly 2 C5, 8e) 
f(g9:) pi BQ) si = 1], st (5, 8f) 


其 中 TD 和 OC&) 分 别 表 示 在 第 个 结 点 处 进 纯 和 出 骤 的 集合 ; 
工 (表示 在 回路 ! 中 所 含 的 弧 的 集合 fr(a) 表 示 从 供水 结 点 到 结 
点 天 的 一 条 道路 中 弧 的 集合 ; 民 ( 刀 表示 从 供水 结 点 到 结 点 下 的 道 
路 的 集合 . 于 是 ,(5. 8b) 代 表 结 点 处 水 的 消耗 , (5. 8c) 代 表 回 路 中 
的 平衡 , 《5. 8e) 代 表 弧 的 容量 , (5. 8d) 和 和 (5. 8f) 代 表 技 术 上 的 要 
求 ,cyop>0 都 是 预先 给 定 的 常数 ,六 和 9 是 变量 . 

此 问题 的 一 般 构造 可 参见 [6]. 


习 题 


1: 证明; 车 (5.5) 有 和 解 z* , 则 存在 r*' 使 得 Cr* ,Tz'}) 是 (5,6) 的 解 ; 反 之 , 若 
Cr" , 庆 * ) 是 (5.6) 的 解 , 则 x" 是 (5. 57 的 解 . 
2. 设 有 数量 为 ri 的 某 种 资源 ,将 它 投 人 两 种 生产 4 与 B. 若 以 数量 yy 投 
人 生产 4, 剩 下 的 量 zi 一 % 投 入 生产 BB, 则 可 得 收入 为 
及 (3 二 hr 一 30 
s 74" 


其 中 & 和 天 为 已 给 的 函数 , 且 gf0) 一 站 0) 一 0. 现 设 以 为 与 五 一 为 投入 4, 瑟 
生产 后 可 以 回收 再 投 人 生产 , 设 它们 的 回收 率 分 别 为 acE [0,1]. 因此 在 第 
一 挤 段 生 产后 回收 总 量 为 
Ts 一 G3J + Pr — y1) 

将 r* 再 投 人 生产 4, 瑟 ,然后 再 回收 ，… 这 样 一 共生 产 了 # 次 . 希望 选择 y， 
yzr…… 19 使 总 收入 最 多 . 建立 这 个 问题 的 数学 模型 ， 

3. 设 从 “点 到 五 点 建筑 一 条 公路 ,路线 已 定 , 设 此 公路 总 长 为 了 . 设 未 筑 
比 时 研 路 的 高 度 函 数 为 ctvE [0,7T]. 今 要 求 设计 公路 的 高 麻 y(t),tE 
[0,7], 使 得 在 建筑 公路 时 各 处 减少 的 高 庶 ( 对 应 于 控 去 的 土方 ), 或 增加 的 
高 度 ( 对 应 于 填 上 的 土方 ) 之 总 和 为 最 少 , 周 时 要 求 每 点 处 的 坡度 不 超过 5， 
且 每 点 处 的 坡度 的 变化 率 不 超过 ss, 试 建 立 此 问题 的 数学 模型 . 
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第 六 章 王 集 


读者 以 后 将 会 明白 , 非 线性 规划 中 的 某 些 理论 的 建立 会 以 这 
样 或 那样 的 方式 与 凹 集 和 凸 函 数 相 联系 ,本 章 第 三 节 的 内 容 便 是 
很 好 的 说 明 性 的 例子 . 我 们 将 给 出 与 数学 规划 密切 相关 的 凸 集 和 
凸 函 数 的 一 些 性 质 . 


$6.1 西 集 及 其 基本 性 质 


定义 6.1 设 CCR", 车 对 Y zzzECY aeE(0,1) 均 有 
azl 十 人 1 一 2 EC (6. 1) 

则 称 C 为 百 集 . 

例如 ,给 定 z*ER',e>0, 则 OCz"' ,e) 是 凸 集 ; 又 如 

S= {rE RAr=b,r 0} 

也 是 凸 集 . 这 些 都 可 以 直接 由 定义 验证 . 

定理 6. 2 设 C,C,Cs 都 是 R" 中 的 凸 集 , 则 

(i) aC 一 fax:xEC} 是 凸 集 ,其 中 a 是 实数 ; 

tiiy Ci 二 二 (Xx 十 y1XECiyyE Cs) 是 西 集 ; 

Qii) Gi 站 C; 是 凸 集 ， 

这 个 定理 的 证 明 留 给 读者 . 

设 为 ,7 二 1 让 满足 为 宕 0 且 3 罗 二 1, 则 称 


J 一 1 


i=1 
为 {zl x 的 一 个 西 组 合 ， 
定义 6. 3 设 5CR.S 的 凸 包 ; 记 为 co5, 其 定义 为 zEcoS 当 
且 仅 当 存 在 束 及 六 ES,j 一 1，… 尖 ,使 得 了 是 这 天 个 元 的 某 个 占 组 
合 , 显 见 ,cog 基 凸 集 ， 


a 7 和 


定理 6. 4(Caratheodory) 设 SCR. 若 zEcoS, 则 x 可 表示 为 
5 中 至 多 * 十 1 个 元 的 凸 组 合 . 

证 由 xEcoS 知 ,存在 TiES,j 二 1,…', 上 ,存在 之 0,j 一 1， 
sy 且 2 ,= 二 1, 使 得 x 一 > ,zi 车 <n 十 1 则 证 明 已 舍 
结束 . 下 设 k>>n 十 1, 于 是 2 一 Zt 一 XZ ,yx 一 线性 相关 , 即 
存在 不 全 为 零 的 一 组 数 所 ,Am 使得 >) 和 (一 局 ) 一 0 
今 定义 内 一 一 忆 ，， my* 于 是 


六 or = DP (6.2) 


由 于 上 面 的 py 不 全 为 零 , 故 可 设 加 之 0 至 少 对 菜 个 了 成立. 再 由 
(6. 2) 之 第 一 式 得 ,对 任意 实数 ,有 


T= Dh — ap C6. 3) 
今 取 a 为 
六 二 min {%/p: ps > 0} 一 Nf pe 
容易 看 出 


太一 ar 产 0 一 1 天 且 本 一 6 一 0 (6, 4) 
并 且 由 《6. 2) 之 第 二 式 推 得 ， 
2 (1 一 op6) = Das=1 《6. 5) 
《6. 3) 一 (6. 5) 表 明 z 可 表 为 8 中 至 多 一 1 个 元 的 凸 组 合 , 必要 时 
可 重复 以 上 过 程 , 定 理 即 获 证 . 
Carathéodory 定理 是 关于 维 数 的 基本 定理 . 它 有 许多 重要 应 
用 , 例 见 习题 2， 
凸 集 C 的 闭 包 ( 记 为 clcC) ,内 部 ( 记 为 intC)，, 以 及 其 边界 ( 记 
为 0) 与 一 般 集合 的 相应 的 概念 同 . 关于 凸 集 C 还 有 一 个 很 有 用 
的 概念 叫 “ 相 对 内 部 ”, 记 为 3C, 可 以 定义 如 下 ， 
riC = (ze Ci VyEC,Ia>0 使 xz 一 a(y 一 Xx) EC 
《6. 6) 
傅 如 , 令 C 一 [0,1], 将 它 看 成 只 中 的 子 集 则 intC 一 (0,1); 车 将 C 
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看 成 有 ?中介 于 点 (0,0) 和 点 (1,0) 之 间 的 线段 , 则 intC 为 空 集 ,但 
由 (C6. 6) 即 推出 riC={(z,0) :0 过 x 之 1). 
已 证 (例如 见 [17]) ,车 C 为 非 空 凸 集 则 ric 非 空 ,并 且 ,Y xE 
riC,Y 3yEclC, 有 
ir (1 — Vy Erc,yYAie (0,1) (6.7) 


§ 6.2 凸 集 的 分 离 定 理 


定理 6. S( 点 与 凸 集 的 分 离 定理 ) 设 孔 为 户 中 的 非 空间 由 
集 , 设 ¥ 驴 DD. 则 存在 cE R",c 关 0, 以 及 数 ,使 得 
cr p>ey, YreD (6, 8) 
证 任 取 x*ED, 作 | 
Z= {rE Dz yh ale — wl} 
则 Z 为 非 空 有 界 闭 同 集 , 而 Jz 一 y 是 z 的 连续 函数 , 故 它 在 Z 上 
的 某 点 处 取得 最 小 值 , 设 为 z*, 即 
| — yl = mi 人 lz 一 六 | = minliz 一 如 | (6, 9) 
上 面 的 后 一 等 式 由 Z 的 定义 直接 推出 ,由 x*ED 及 yDD 知 
fx 一 >>0, 此 即 
(XT yr yO0 
上 上 式 中 , 令 c= 二 x 一 六 , 则 c 隆 0; 再 令 crz2 一 8 即 得 (6, 8) 之 第 
二 个 不 等 式 . 易 知 ,对 此 < 和 8,(6.8) 之 第 一 个 不 等 式 等 价 于 
(XT (Oy) 守 0, YrXED (6.10) 
性 取 zED, 由 也 为 是 集 知 ax 十 (1 一 和 yx?ED,Y aE (0,1). 故 由 
(6. 9) 得 
lz — yer (1 Co or) 一 如 | 
将 上 式 两 边 同 时 平方 ,整理 得 等 价 的 
ez 一 r+ Zero re) 0 
再 以 2a 遍 除 上 式 , 复 令 a-r01+ ,得 (6. 10). 证 毕 . 
由 定理 6. 5 可 证 著名 的 Farkas 引 理 ， 
,78 。 


定理 6. 6(Farkas) 设 AER"**,bE RR", 则 Az 二 6,z 之 0 有 解 
的 充 要 条 件 为 :对 任意 满足 ww A 之 0 的 & 必 有 wi5 之 0. 
注 Farkas 引 理 可 以 转述 如 下 、 
设 AER"*",5bE Rr, 则 下 列 两 种 情况 恰 有 一 种 发 生 . 
1. Az 二 5,7 之 0 有 和解 +E R'， 
工 .wrA>0,w16<<0O 有 解 ER". 
类 似 于 上 面 的 定理 统称 “ 择 一 定理 ”. 它 的 典型 的 证 明 步 又 是 : 先 证 
若 1、1 同时 发 生 就 会 得 到 矛盾 (这 就 证 明了 两 者 不 能 同时 发 生 )， 
这 一 结论 一 般 都 很 容易 证 明 ; 再 由 其 中 的 某 一 个 不 成 立 去 推 得 另 
一 个 成 立 ( 这 就 同时 证 明了 若 I 不 发 生 则 了 发生; 以 及 车工 不 发 生 
则 1 发生; 从 而 证 明了 两 者 至 少 有 一 发 生 ). 
定理 6. 6 的 证 明 若 I1、I 同时 发 生 , 分 别 到 1、1 的 解 主 和 
,于 是 由 
0 (AZ = (AL) = ABO 
得 矛盾 . 再 设 I 不 发 生 , 构 造 集合 
. D= {y€E Ry= Ar,r€ RT 0} 
则 5 区 品 .由 局 为 R" 中 的 非 空 的 闭 凸 集 ( 参 见 本 章 习题 6),. 利用 定 
理 6. 5 知 存在 <E Rec 天 0, 使 得 对 Y 3 和 厂 有 cc55 即 
ch47rD czD0 . 
上 式 中 ,分 别 取 天 一 5090r030)71 一 1 由 区 可 以 充 
分 大 即 推 知 < 4z0 另 一 方面 , 令 一 0 又 得 8<0,. 于 是 有 cA 之 
0 且 c 5<0. 这 表明 “是 工 的 解 , 即 I 发生, 证 毕 ， 
定理 6.7( 支 撑 超 平面 的 存在 性 ) 设 孔 为 忆 中 的 非 空 囊 集 ， 
设 过 GE 3D. 则 存在 cE€ 启 ,c 关 0, 使 得 
er)E0YrEcD (6.11) 
证 由 zEaD 知 存在 {y*},y 信 ciD 且 yy 一 :从 而 仿 定 理 6. 5 
的 证 法 知 ,存在 c* 取 0 使 得 
(Oz Co 0, YzED 
上 式 中 ,可 令 ||e 圳 ==1( 不 然 , 先 以 上 |e 吉 这 除 之 , 重 取 为 cf/ 冲 如 
可 ), 于 是 {ct} 有 收 但 的 子 列 , 不 妨 设 扩 >c 则 天 0. 在 上 式 中 固定 
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Xs 让 ko0, 得 T(x 一 二 ) 志 0. 由 xzE 万 是 任意 的 ,定理 证 毕 ， 

对 固定 的 cER';c 关 0,aeER, 称 

= {rE Rcr— ea} 

为 天 中 的 一 个 超 平 面 . 车 在 上 式 中 取 sa 一 czz, 则 由 (6. 11) 知 ,定理 
6.7 的 几何 意义 为 在 超 平面 态 的 一 侧 且 cID 与 五 交 于 元 称 此 
太 为 DD 的 支撑 超 平面 . 请 读者 对 定理 6.5 作 几何 解释 . 

推论 6. 8( 点 与 凸 集 的 能 分 离 定 理 ) 设 品 为 Rr 中 的 非 空 凸 
集 , 设 过 千石 , 则 存在 ecE 司 ,c 天 0, 使 得 

cr 人 一 地 三 0,yyecp 

证 若 云 各 c] 万 , 则 在 定理 6. 7 的 证 明 中 取 某 个 为 去 ,对 应 的 
人 作为 c 则 可 ;车 志 EclD, 由 条 件 到 入 DD 得 到 E 3D, 此 时 的 结论 由 
定理 6. 7 直接 得 到 , 证 毕 . 

注 ”我 们 在 上 两 个 证 明 中 避免 使 用 “车 万 为 凸 集 则 clD 亦 为 
凸 集 "这 一 结果 . 

定理 6. 9( 两 个 凸 集 之 闻 的 弱 分 离 定 理 ) 设 五 和 六 都 是 本 
中 的 非 空 凸 集 且 DP, 门 DD 二 久 . 则 存在 cE 怀 ,c 天 0, 以 及 数 a, 使 得 

cra yy YTIEDYyED, (6. 12) 
证 令 
D=D,—D={y— zx:r€E Dy€ED,} 
由 定理 6. 2 知 DD 是 凹 集 , 由 Di 门 D, 二 儿 知 0 苞 轧 , 于 是 利用 推论 6. 8 
知 存 在 cE R",c 关 0, 使 得 crz 扫 0,VY xzED. 这 就 表明 crt 之 cy， 
YXxED,Y yED;, 此 又 等 价 于 
inf 区 区 Se y 


IE 


取 定 一 一 个 介 于 上 不 等 式 左右 两 个 量 之 间 的 某 个 数 为 w, 由 此 4 结 
合 上 式 即 知 (6. 12) 为 真 , 证 毕 . 
定理 6. 10(Gordan) 设 AE R"*, 风 下 列 两 种 情况 恰 发 生 一 
种 ， - 

1 .Az<-0 有 解 zER"; 

1 .x A 二 0,u 之 0,w 隐 0 有 解 xER". 
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证 若 I、 工 同时 成 立 则 易 得 矛盾 ,下 设 I 不 成 立 , 则 集合 
万 | 一 {ziz 一 4z 和 kk} 
D,= {x12 < 0,2€ FR") 
都 是 R* 中 的 非 空 凸 集 且 记 门 Ds, 二 名 ,利用 定理 6. 9 即 知 ,存在 
c 台 了 ,ce 天 0, 使 得 
ATTz YrER,YzER"Hz2<O0 
上 式 中 ,由 于 z 的 每 个 分 重 都 可 趋 于 负 无 穷 , 故 必 有 “之 0: 再 令 
zr0 得 cAz 之 0,Y xzrERi 在 此 式 中 到 < 一 一 4c, 得 一 | 4 宇 0， 
这 就 表明 必 有 c 4 一 0. 综 上 述 ,c 就 是 工 的 解 . 
择 一 定理 是 数学 规划 理论 研究 的 重要 工具 . 关于 择 一 定理 的 
比较 系统 的 叙述 可 在 文献 [12] 中 找到 . 


$6.3 Farkas 引 理 在 线性 规划 中 的 应 用 


本 节 , 我 们 给 出 Farkas 引 理 在 线性 规划 中 的 一 个 重要 应 用 . 
读者 可 以 籍 此 初步 体会 到 择 一 定理 在 教学 规划 中 的 作用 . 


联系 于 线性 规划 的 标准 型 
(LP) min cz 
s.t, Ar~=b 
X20 
有 另 一 个 线性 规划 
{DP) max Xb 
| st, MAT 


称 (DP) 为 (LP) 的 对 侦 问 题 (读者 可 和 参见 第 三 章 ). 
定理 6. 11 . 车 x* 对 LP) 可行 且 必 对 (CDP) 可 行 , 则 
eTr > CY 
此 类 定理 一 般 称 为 弱 对 偶 定 理 , 证 明 留 给 读者 ， 
定理 6. 12 设 z" 对 (LP) 可 行 且 4" 对 (DP) 可 行 .车 
| cr" 一 (hv )70 《6. 13) 
则 zx" 和 4 分别 为 (LLP) 和 (CDP) 的 解 ， 


证 设 z 对 (LP) 可 行 ,利用 定理 6. 11 得 
TT 4) = eTr’ 
这 表明 z "为 (LP) 的 解 . 类似 地 可 证 "为 (DP) 的 解 . 证 毕 . 
定理 6. 13 x" 为 (LP) 的 解 的 充 要 条 件 是 ,x* 对 (LP) 可 行 且 
存在 对 CDDP) 可行 的 4" 使 得 (6.13) 成 立 . 
证 充分 性 即 定理 6. 12, 下 证 必要 性 ， 
设 工 ' 为 (LP) 的 解 . 令 > 一 z 一 z，, 今 门 为 对 角 阵 ,其 对 角 元 记 
为 dz 一 1 定义 如 下 : 
过 一 从 车 xi 0， 
1, 若 x = 二 0， 
于 是 ,Pr = 二 0, 且 容易 验证 y=0 为 问题 
mincly st, Ay= 0, Dy 之 0 
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的 解 , 从 而 
A 
一 A 
D 
由 Farkas 引 理 知 ,存在 非 负 向 量 到 ,5, 矶 . 使 得 
uA— TA wD= er 
在 上 式 中 令 4 二 zz 一 5, 从 而 得 到 


凡 满 足 3 之 0 的 y 必 有 cy 之 0 


(A TA+ TD=e (6.14) 
再 由 名 宇 0 及 DD 之 元 篆 非 负 , 叉 由 上 式 得 
UIA 《6, 15) 
最 后 ,以 z* 与 (6,14) 作 内 积 , 注 意 到 Dz* 一 0, 得 
(a)Th = AITAr: = eTr* (6.16) 


《6, 15) 表 人 对 (DP) 可 行 ,(6.16) 表 (6. 13) 成 立 , 证 毕 . 

上 定理 表明 ,车 (LP) 有 解 则 CDP) 亦 有 解 且 两 规划 的 最 优 值 相 
同 , 这 类 结果 通常 称 为 强 对 侦 . 

上 面 的 结果 还 表明 ,求解 (LP) 等 价 于 求解 以 z,4 为 变量 的 线 
性 系统 : | 
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4I04< 扫 < 
(4 一 cz 一 0 
求解 线性 规划 有 一 个 单纯 形 法 , 它 是 由 Dantzig 在 1947 年 给 
出 的 ,并 被 认为 是 本 世纪 数学 的 一 个 重大 成 果 . 但 单纯 形 法 的 理论 
结果 并 不 令 人 满意 . 于 是 ,70 年 代 至 今 ,对 线性 规划 求解 的 研究 又 
出 现 了 高 湖 , 其 中 [8 了 [9] 和 [15] 都 是 比较 具有 代表 性 的 . 
Karmarkarc9 运 用 了 一 个 变换 将 (LP) 转 化 为 
(KLP) min cz 
8.t. Az=0 
erx 一 1 
0 
其 中 e=(1515,1)TER',AER"Y",cER", 以 下 设 (KLP) 的 可 行 
集 不 空 ,这 等 价 于 设 (KLP)7 有 解 . 这 个 规划 通常 被 称 为 线性 规划 的 
Karmarkar 标准 型 . 
现在 , 写 出 (KKLP)7 如 本 节 开 头 所 述 之 对 侦 , 即 
‘KDP) max wat 


js 


8,t. y omw 十 wari C7 = ,sn 
izl 
wi EE Ri=12"*sMm 十 1 
其 中 dj 是 A 的 中 ,站 元 ,ej 是 [i 的 第 了 个 分 量 jvui 是 变量 f= ls, 
诉 十 1 再 记 Ww 二 (To) 9 wn) 则 此 规划 可 改写 为 


mas min (¢; 一 Za) (6.17) 


今 记 (KLP) 的 最 优 值 为 6, 根据 以 上 的 分 析 知 (6.17) 的 最 优 
值 亦 为 8. 为 书写 简章 起 网, 记 

| fitw) = yam 一 f= 1 《6. 18) 
于 是 ,对 应 于 问题 (6. 17) ,车 记 $Cw) = max fiCw), 则 
ming(rw) 《6. 19) 
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的 最 优 值 就 是 一 9. 
对 Y Ap>0, 显 然 有 


[exp /pF < [Dexpf /DT < [n+ exp(g/ 1 
对 上 式 取 自然 对 数 ,得 
gu) < pin[ Dexpf C0))1) J $Cw) + plnn 
在 上 式 中 对 志 在 Rr 上 最 小 化 ,得 
— 0 smintn| Perp st/ ]<— 6 十 nlnn 


今 将 以 上 的 推导 总 结 如 下 . 
定理 6. 14 设 8 是 (KLP) 的 最 优 值 . 则 对 Y p>0, 有 
O00 — 6 klnn (6. 20) 
其 中 
9: 一 一 “minin{ Dexpl ( 2D aw 一 oj /|}. (6. 21) 
任 取 定 e>0, 再 取 一 个 p>0 满 足 plnn<&e. 这 定理 告诉 我 们 ， 
对 此 & 求 单个 的 无 约束 极 小 化 问题 (6. 21) ,可 得 到 8 的 一 个 满足 
预先 给 定 误 差 s 的 一 个 近似 姑 . 
Rajasekera 和 Fangt5 推 导 了 与 此 有 关 的 一 些 精细 的 关系 式 ， 
兹 述 于 下 . 
设 w' = (wr ,… wx)7 为 (6， 21) 中 的 极 小 化 问题 的 解 . 对 
(6. 21) 中 的 目标 函数 关于 w; 在 w: 处 求 导 , 得 
Q >exp[ ( 2 a 一 oj] /ples = 0 = ] ww ,mm 


(6. 22) 


包 一 Dexp[( Dl aor 一 吕 /x] (6. 23) 
再 定义 
Z7 一 Qiexp[{ Daw 一 可 /pi = 1 《6. 24) 
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容易 由 上 面 的 三 个 式 子 得 到 
Ar” = 0,2°T" 一 1]z” ”20 
即 rx" = (zx! 全 证 和 际 并 对 (KLP) 可 行 ， 
利用 定义 式 (6. 24) ,在 恒等式 
yer -= Hes 


中 ,用 ~ ~ 
Qr; = exp[( > aor 一 cj] /4 | 
代替 左边 和 号 下 的 第 j 项 ,同时 用 
QQ= exp[ ( Dh awr 一 cj) /pr]/z; 
代 着 右边 积 号 下 的 第 j 个 Q,j 一 1，… 然后 将 所 得 之 等 式 两 边 
取 自 然 对 数 ,容易 得 到 
Plne = > | > aror 一 RE 一 zy a lnz) (6. 25) 
另外 , 按 忆 的 定义 由 (6.21) 直 接 得 。 
— 0 = plnQ 
以 及 由 Ax" = 二 0 推 及 


> Daor — oz = 2 Dar wr — Do 一 一 
将 以 上 两 个 关系 式 -一 并 代入 (6 25) ,得 
定理 6.15 设 世 "为 (6.21)? 的 解 , 设 2z "由 《6. 24) 定 义 , 则 工 


对 (KLP)7 可 行 , 且 对 由 (6. 21)? 定 义 的 多 ,有 
?x 十 pzylnzy (6. 26) 
今 再 记 
Wir 一 min {6 — Da 一 上 一 Paw (6. 27) 


则 易 检 (tw? 4 9 Om 对 (RDP) 可 行 根据 定理 6. 11 有 
er 
又 , 按 (6. 27) 由 (6. 24) 得 x? = 二 QQ !exp( 一 wi1/12) ,在 此 式 两 边 取 
二 85 站 


自然 对 数 得 


Hnz? 一 一 MnQ — wi = 0 — wi 《6. 28) 
由 于 xz? E00,1), 上 式 还 表明 
人 < T+1 


最 后 ,将 (6. 26) 中 名 的 表达 式 代 入 (6. 28) 得 
CH” 一 TO = al lnz* 一 2 x Inz; ) (6. 29) 


定理 6. 16 设 w"' 为 (6,21) 的 解 ,或 ww" 由 (6. 22) 定 义 ;02 由 
(6.21) 定 义 ywa+1 由 (6.27) 定 义 yz* 由 (6.24) 定 义 ,6 为 (KLP) 的 
最 优 值 . 则 z* 对 (KIP) 可 行 ,关系 式 (6. 29) 成 立 , 并 且 
人 < 和 日 委 crz" 《6. 30) 
由 于 上 式 章 昧 着 0 委 crzr "一 Acerzr 一 wt41, 通 过 对 (6.29) 右 
端的 详细 的 分 析 ,我 们 在 [21] 中 得 到 了 
定理 6.17 设 x" 由 (6.24) 定 义 , 则 xz* 对 (KLP) 可 行 , 且 
0 rr — EuB,, n> 3, 《6. 31) 
其 中 为 (KLP) 的 最 优 值 , 且 
B= [in 一 1) 一 nlintz 一 1)] 十 lnFl 十 Intn 一 1)] 
一 Ja[nta 一 1 一 mi 一 1 一 1 23 
(6. 32) 
上 定理 给 出 了 求解 线性 规划 (KLP) 的 无 约束 最 优化 方法 ( 参 
见 定 理 6.14 下 面 的 一 段 话 ). [21] 中 有 例 表明 ,对 于 这 里 的 方法 , 定 
理 中 的 juB, 为 最 好 的 估计 . 在 那里 还 指出 了 , (6. 21) 中 的 极 小 化 间 
题 有 解 的 充 要 条 件 为 (KLP) 有 一 个 可 行 点 三 >0. 


习 题 
1. 设 CS ,证 明 C 为 上 以 集 的 充 朗 条件 是 ， 对 C 中 的 任意 有 限 个 点 
,以及 对 任意 入 渤 0 一 1 其 测 尼 7 =1, 部 有 hz EC, 


2. 设 $ 为 R* 中 的 紧 集 ， 则 coS 亦 为 紧 集 ， 
3. 设 如 为 下 中 的 凸 集 . 证 明 ,W ziEcCy zrEintC， 
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3 一 Mrl 十 (1 一 为 友和 intC YAC (0,1) 
(提示, 设 < 之 0 使 得 {z:||z 一 22|< 引 三 C ,证 
{zslz — oy) < Ve ECY AE (O01).) 

4. 设 己 为 局 中 的 凸 集 ,证 明 intC 和 clC 都 是 西 集 ,《 据 示 :可 利用 上 题 之 
结果 . ) 

5. 设 如 为 玉 中 的 非 空 凸 梨 , 则 clC 为 所 有 包含 C 的 半 闭 空间 的 交 .( 提 
示 : 利 用 上 题 之 结果 及 定理 6. 5. ) 

6. 设 AER"*", 证 明 

D={y€ kriy = Arir € rr 0) 

为 Re 中 的 非 空 闪 凸 亿 . (提示 ;关于 闭 性 , 先 证 任 演 号 中 的 y 都 能 表 成 A 中 
的 若干 个 线性 无 关 列 的 非 负 线性 组 合 . ) 

7. 设 4ERn“ BER2x :证明 直面 两 种 情况 恰 发 生 一 种 : 

1 .Axr<0,Bz==0 有 解 +€E R"; 

ET .472 十 BTo 一 0,2320a 天 0 有 解 人 az)ER Ht 
(提示 :必要 时 可 先 设 B 的 行 向 量 线性 无 关 . ) 

&. 证 明 两 个 凸 亿 之 间 的 严格 分 离 定理 : 提 了 和 是 育 中 两 个 互 不 相交 
的 非 空 间 凸 集 ,并 设 是 紧 的 , 列 存 在 cE 局 ,aE RR, 使 得 

> 

并 指出 ,者 D1 .了 :无 一 为 紧 则 销 论 一 般 不 成 立 ， 

9g. 设 多 和 SR",xEX. 用 TIX,z) 表 禄 在 zx 处 的 切 锥 ,xzET(R,z) 当 且 仅 
当 , 存 在 非 负 数列 {a} 粹 及 存在 {4} 三 区 上 且 x* 一 z 使 得 z 二 lime(z+ 一 xz). 今 
设 S 为 民 中 的 开 凸 集 且 S 和 它 的 补 集 5 缘 非 空 , 若 zEcl3 门 安 S, 则 

(S {zr} NN T(ESz) = YZ 
10, 考 虚 如 下 的 线性 规划 ， 
min 一 《in 人 yzi 
8.ft。 区 1 一 ya 二 0 


j= 
erz=1 
区 六 上 0 
其 中 xm>258E (0,1) 为 参数 ， 
(1) 验证 (6, 30) 式 # 
(ii 试 给 出 (erz "一 9)Vaun 的 一 个 对 一 切 8€ (0,1) 通 用 的 上 界 ， 
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第 七 章 ” 凸 函 数 


试图 将 线性 规划 的 理论 推广 到 非 线性 规划 上 去 ,这 就 导致 了 
， 对 是 函数 的 详尽 的 研究 . 这 研究 被 称 为 凸 分 析 . 凸 分 析 是 一 门 年 轻 
的 学 科 , 从 20 世 纪 50 年 代 起 才 开始 迅速 地 发 展 . 本 章 只 限于 介绍 一 
些 基 本 理论 ， 


$7.1 凸 函 数 及 其 基本 性质 


定义 7.1 设 DCR' 为 凸 集 ,大 :D-> 玉 . 若 Y zl zz 反 万 ， 
jar 十 (一 的 2 Eaf tr + 1— fr 《7.1) 

对 Y a€ (0,1) 成 立 , 则 称 jx) 为 万 上 的 凸 函 数 . | 

车 不 等 式 (7.1) 对 z! 关 z! 严 格 成 立 , 则 称 f(z) 为 D 上 的 严格 
凸 函数 ， 

义 , 著 一 f(z) 为 DD 上 的 (严格 ) 凸 函数, 则 宗 f(x) 为 D 上 的 
《严格 ) 四 本数， 

可 用 归纳 法 证 明 , 凸 函数 的 一 个 等 价 的 定义 是 :对 Y kyY ziE€ 
站 一 1 aZP0i 一 1 法 且 了 1m 一 1, 有 


fF Dar) Df lx) 《7. 2) 
定理 7. 2 设 Ac) ,一 1， 如 为 万 上 的 西 函 数 , 则 VB 0， 
it 一 ] ,om 
SBFz) 
亦 为 刀 上 的 西 函数 ， 一 


定理 7.3 设 (x),iET, 都 是 也 上 的 凸 函数 , 则 
fr) = supfi(z) 


» SB 。 


伙 为 D 上 的 是 函数 . 
定理 7.4 设 f(z),iE1, 都 是 也 上 的 凸 函数 , 则 YY wr,iET， 
D,= {x €E Dfi(x) wi El) 
是 凸 集 . 
以 上 的 三 个 定理 可 用 定义 直接 获 证 . 

. 定理 7.5 设 (z) 为 开 凸 集 DCSR" 上 的 是 函数 , 则 f(z) 在 DD 
上 满足 Lipschitz 条 件 , 即 Y x*EDD, 存 在 x' 的 一 个 邻 域 OCr?,e) 以 
及 常数 L( 一 般 与 此 邻 域 有 关 ) ,使 得 

|f(z) 一 Flr) | EL: ro ey rx E OCr',e) 
《7.3) 
证 先 证 fxz) 是 局 部 有 界 的 ,在 万 中 选 一 个 以 如 为 中 心 的 
立方 体 V, 顶 点 为 V1 V2 Vn C1 = 2"). 由 立方 体 为 顶点 的 凸 包 ， 
划 Y 中 的 任 一 点 z 都 可 以 表 为 这 些 顶 点 的 凸 组 台 , 即 


z= Pho ho DN-1 
利用 担 函 数 的 等 价 的 定义 式 (7, 2) ,得 
f(z) S Daf max fv;) AM 
故 f 在 V 中 上 有 界 , 另 一 方面 ,对 VV 中 之 z, 可 选 得 V 中 之 y, 合 
. 2z2= 二 z 十 二 2 于 是 


Ar) & fz) 十 冯 F) 


从 而 ， 
fT) F222) — fl F276 一 M 
故 子 在 了 中 下 有 界 . 总 之 ,ff 在 VV 中 有 和 界 . 

再 证 了 的 局 部 Lipschitz 连续 性 , 即 (7, 3) 式 . 根据 上 段 的 结 
论 , 对 此 二 ,可 找到 半径 为 2e 的 球 , 使 了 在 此 球形 邻 域内 有 界 , 设 
界 为 开 . 今 任 取 OCx',e) 中 相 异 的 x1,x?, 再 令 

T= x (e/a) (zx? — xr) 
其 中 a=||z: 一 x 小. 于 是 x*?EOCz',2e), 解 出 zx? ,得 
89 。 


2 £ 


a 
一 1 3 
> 一 地 十 下 
C 十 二 oe 


再 由 了 之 凸 性 得 
f(r) Ciel 十 Tc 
由 此 得 
fx) — fr Eitf lr) — fr)] 所 2oK/(a 十 昌 


< 2aK/e = (2K/e) Nz 一 zl 
由 于 zz 可 以 互 换 , 故 又 得 
.zz — fr) | (2K /Nx 一 到 | 
取 工 二 2K/s, 由 上 式 得 (7. 3) ,证 毕 . 
上 面 这 个 定理 是 在 20 世 纪 60 年 代 得 到 的 ;这 里 的 证 明 取 自 
[16], 那 里 还 讨论 了 抽象 空间 中 的 有 关 情 况 . 
下 一 个 定理 表明 ,对 多 元 函数 的 凸 性 的 判定 可 化 为 相关 的 一 
维 问 题 . 我 们 把 证 明 留 给 读者 . 
定理 7.6 设 DSCR" 为 同 集 .为 D 上 的 是 函 数 的 充 要 条 件 
为 ,f 限于 DD 中 的 任 一 条 线段 上 亦 为 溃 钞 数 . 即 Y x! ,六 GD， 
ha) = 了 (azl 十 【1] 一 x) (7, 4) 
为 [0,1] 上 的 是 函数 . 


$7.2 凸 函数 的 几 个 基本 定理 


定理 7.7 设 CCR 为 非 空 凸 集 ,; 设 f(T) yi 一 l,m 
gifz)yj 一 1 为 C 上 的 凸 函 数 , 再 设 gj(X);j 二 rf 十 1 sy 户 为 
线性 函数 , 若 

Flr 0 = ly mg RT) E00 = 1 
fo = 0,7=7r 二 l,ip rE C 
无 解 , 则 存在 ww 守 0,i 二 1 my 久之 0;j 二 1 sr 以 及 BB 
j==r 十 lyp， 这 些 数 不 全 为 零 , 使 得 


»p 
Dafi(z) + DPgAT OYEC (7..6) 
i=1 


i=1 


(7. 5) 


s gO0" 


证 令 
Y= {y€ R"t?I x EC 使 得 f(x) < yi = 1 mm, 
BT) ES Intisf = lr BT) = Yntpf = r+ 1 p} 
易 知 ,Y 为 非 空 凸 集 且 不 包含 零 . 利用 推论 6.8( 令 那里 的 去 =0) 
知 ,存在 @si==1,… ,msBi,7 二 1,…4 思 ,这 些 数 不 全 为 零 , 使 得 


弄 p 
Say 十 Bin 之 DO,¥YyE€ Y (7.7) 
i=1 jel 


由 的 构造 易 得 & 之 01i= 二 1,… ,my 户 之 0,j 二 1 比如 
说 ,车 过 0, 则 在 C7.7) 中 先 固 定 某 个 yYEY, 再 可 令 各 阅 十 o， 则 
(7.7) 不 可 能 成 立 , 故 ga 之 0. 今 任 取 XEC, 取 =r ei=1l, 
…,m, 其 中 e 汪 0 任意 给 定 ; 再 取 ym+j 二 8;(z) ,j= 二 1,…,p, 一 并 代 
人 (7,7), 得 


mt £ 
Patfi(z) + DBga(s OYrEC 
iel jel 


在 上 式 中 国定 x 后, 令 e>0, 得 (7.6), 证 毕 . 
在 实际 应 用 中 ,常常 要 求 (7. 6) 中 的 诸 % 不 全 为 堆 , 于 是 就 有 
” 如 下 的 定理 ,结果 取 自 [17], 证 明 取 自 [28]. 
定理 7.8 设 CCR' 为 非 空 是 集 , 设 大 (TzT) ,i 二 1 ms 为 C 
上 的 西 函 数 , 设 gj;(x),j 二 1,…, 记 ;为 线性 函数 ,再 设 存 在 zx* 满 足 
Bi(zo EO or g(r) = 07=r+1l EC 
| (7. 8) 
"车 (7. 9) 无 解 , 则 存在 % 写 0,1 二 1,…,m, 这 些 数 不 全 为 零 , 存 在 
之 0 二 1y of 以 及 局,j 二 + 十 1,… ,pp; 使 得 (7.6) 式 成 立 、 
证 对 用 归纳 法 .p=0 时 的 结果 由 定理 7.7 直 接 推 得 .下 设 
p 之 1 且 设 结论 对 2z 一 1 时 的 情况 为 真 ， 若 (7.6) 中 的 @;i 一 1 ,mm 
不 全 为 零 , 刚 结论 已 得 ;车 在 (7. 6) 中 有 诸 一 0, 则 记 
T= {j:B; > 0,7 = 1 7) 
J = {jpP A0I =r+ 1 p} 
由 定理 ?. 7 知 万 山 7 天 何 , 且 此 时 (7. 6) 化 为 
lz) 人 SVBgr) + DBg(s)0 YrEC (7.9) 


jED je, 


+91* 


以 (7.8) 中 之 z* 代 人 上 式 得 1(x")==0, 再 由 27x) 为 线性 ,L(x') = 二 0， 
以 及 2 EriC, 由 (7.9) 容 易 推 得 :1(zx)= 二 0,¥Y xEC, 即 


1) 十 31p8igi(z) 一 0VzEC (7. 10) 


ij€1, 
任 取 定 加 EUUJ, 则 在 条 件 (7.10) 下 ,系统 
BATI EOITE TBT = 0 E Jr EC 
的 解 集合 与 下 系统 之 解 集合 相同 ， 
Bi(T) = 0 E TM BAK) = 0 EE JA ,TEC 
此 时 ,7, 5) 无 解 便 等 价 于 
filz) ON = Ys mo g(r) EO E {rN 
fo =07€E TU {rt pIN\jo xrEC 
无 解 . 注意 ,此 时 问题 已 化 为 p 一 1 的 情况 ,根据 归纳 法 假定 ,存在 
色 之 0,i 二 1 ms 这 些 数 不 全 为 私 . 存在 记 之 0,j€ {1,… ,rr)\， 
以 及 遍 ,jE (TU {7 十 1,… ,Pp})N\{o} ;使 得 
Dafitw) 十 y， Bez) >0YEC 《7. 11) 


-17 为 

与 所 需 之 结论 相 比 ,(?7, 11) 中 侠 g;, (x) 这 一 项 ,并 且 未 必 有 记 
之 0,jEJ1, 这 只 要 将 (7.11) 加 上 (7. 10) 的 适当 的 正 数 倍 即 可 .证 
毕 。 

利用 定理 7.8 可 以 推出 许多 择 一 定理 . 例如 ， 

定理 7. 9(Gale) 设 AER"*",cE R", 则 下 面 两 种 情况 恰 有 一 
种 发 生 。 

1 .Azrc 有 和 解 XER; 

1 .yA=0,y'c<0,y 之 0 有 解 yE FR 

证 易 证 1 、1 不 能 同时 成 立 . 下 设 I 不 成 立 . I 不成立 等 价 
于 下 系统 关于 (zs) 无 解 ， 

—t<0, Ar—cdt 人 0 
由 于 (zs) 二 (0， 0) 满足 线性 不 等 式 AT 一 ct 仿 0, 根 据 定理 7. 8 可 
知 ,存在 a>>0,aER,y 之 0,yE Re" ,使 得 
» 92+» 


— +y(Ar—ad)0Y rERYIER 
用 z= 一 4 yt 二 0 代 和 人 上 式 得 YA=0; 再 在 上 式 中 令 z=0,t=1 
得 yc 所 一 a<0, 证 毕 . 
定理 7.10 设 CCR' 为 非 空 凸 集 ， 设 f(x) ,i 二 1,…,m， 
B12)4j 二 1，"… 85) 为 CC 上 的 凸 函数 ,gj(T),j 二 s 十 1,…,p; 为 线性 
奋 数 . 再 设 对 某 个 >:s 委 > 委 加 ,系统 
f(r) OF= 1 my g(r) E07 = lor 
to =0,7=7r 二 lp TEC 
无 解 . 车 存在 谋 满 足 
B12) OT = Ls gt) E07 = s+ lr 
人 =0,j=r 二 1 pt Erc 
《7. 12) 
则 存在 wm 之 0, 一 1, ma* 这 些 数 不 全 为 零 , 存 在 Bj 守 0,j 二 1,…， 


以 及 让 一 r 十 1 , 力 , 使 得 


办 p 
Daf + Dg PO0, YrEC (7.13) 
i=1 


jl 


证 :一 0 的 情况 即 定理 7. 8, 下 设 sl, 由 条 件 利用 定理 7. 8 知 
(7, 13) 中 的 Qt= 1 ;及 Bisj=1lye ns 这 些 数 不 全 为 零 . 车 诸 
色 曾 为 零 , 则 Pis j= lynys 不 全 为 雷 ; 此 时 ， 由 《7， 12) 即 得 


pp pp 

Bgs(4) 之 0 ,同时 由 (7.13) 又 得 了 pgj(2) 守 0, 这 是 一 个 
j=] j=1 
矛盾 . 定理 由 是 得 证 . 


-87.3 凸 范 数 的 极 值 


定理 7. 11 设 下 为 凸 集 DCR" 上 的 凸 函 数 , 则 

GD f 在 DD 上 的 任 一 个 局 部 极 小 点 都 是 金 局 极 小 点 ， 

Gi) 了 在 D 上 的 极 小 点 集 是 凸 集 ， 

{ii) 义 车 了 为 D 上 的 严格 同 函 数 , 则 了 在 上 的 极 小 点 集 或 
On。 


为 空 集 或 为 单 点 集 ， 
证 人 ) 设 是 了 在 DD 上 的 一 个 局 部 极 小 点 , 即 存在 * 之 0, 使 
得 
f(T) f(T), ¥ rT ED Oe) (7.14) 
今 任 取 yED, 则 ¥ a€ (0,1) 有 ay 十 (1 一 a)#ED; 并 且 对 充分 小 的 
a>D,ay 二 (1 一 a)3EOQO(T;e), 于 是 由 (7. 14) ,对 充分 小 的 c>0, 就 


”有 


不 ) 委 Fay 十 (] 一 的 元 ) 安 af(y) 十 (1 一 oF) 
容易 由 上 式 解 得 f(z) 声 fly). 由 yED 的 任意 性 即 得 
fy) f(T), YY y ED-. (7.15) 
此 即 欲 证 . 
(ii) 设 所 论 的 极 小 点 集 为 D'. 任 取 zx!,x?ED?, 则 利用 (Ci) 可 
知 ,Y aE (0,1)，, 
FF(arl 十 《1 一 oz) af(r) + (1 — Wf (x) = f(r) 
(7. 16) 
并 且 必 有 flar' 十 (1 一 a)z2)= 二 f(x1), 即 得 azi 十 (1 一 a)x* ED'， 
这 说 明 咏 * 为 凸 集 . 
(让 ) 注 痪 到 若 阅 和 后 太 且 关 天 巡 , 则 由 大 之 严格 目 知 
(7.16) 中 之 不 等 式 对 一 去 严格 成 立 , 即 /二 守 十 到 局 ] <A) 


这 又 表明 zi 区 DD' ,矛盾 .证 毕 ， 

联系 着 此 函数 有 一 个 重要 的 概念 , 即 次 梯度 . 

定义 7,12 设 了 为 凸 梨 DCR 上 的 同 函 数 ,z€€D, 若 存 在 二 
七 R" 使 得 1 

fr) f+ Er A, YrED (7. 17) 

划 称 为 了 在 三 处 (关于 总) 的 次 梯度 . 

记 9f(3) 为 由 了 在 元 处 的 次 梯度 组 成 的 集合 . 由 定义 7. 12 易 
得 ,3f() 为 闭 凸 集 ,¥ ED. 

对 于 给 定 的 二 ED, 可 能 3f(z) 为 空 集 , 可 能 其 为 单 点 集 ,也 可 
能 含有 多 于 一 个 的 点 . 例如 , 令 D 二 [一 1,1]CR, 令 


"oO4r 


|z|l|， 车 工 E [一 1)1) 


1 一 it， 着 z 二 1 
请 读者 验证 
一 1， 荐 z EL 一 1,0) 
_ J[ 一 1,1]， 着 z= 二 0 
fz) 一 11， 若 z € (0,1) 
他， 车 xX 二 1 


能 够 证 明 , 若 了 为 凸 集 五 上 的 凸 函数 , 则 VY ZEintD, VY f(z) 
存在 的 充 要 条 件 是 9F( 王 ) 为 单 点 集 且 {Vf()} 二 3f(z). 我 们 把 
证 明 放 到 习题 中 去 ， 

车 f(z) 之 f(z),Y xED, 则 令 &=0 即 知 (7,17) 成 立 ; 反 之 ,车 
(7.17) 对 上 一 0 成 立 , 则 有 f(z) 守 f(E),Y xED, 这 个 推导 过 程 对 
DD 和 下 的 同性 并 没有 要 求 . 但 我 们 有 下 面 的 结果 . 

定理 7. 13 设 了 是 凸 集 DCR" 上 的 凸 函 数 , 设 5 为 非 空 凸 集 
且 SCintD. 则 王 ES 为 在 5S 上 的 极 小 点 的 充 要 条 件 为 ,存在 
feEa97(z), 即 

f(r) f+ Er I, YED 
且 使 得 
名 (一 元 ) 之 0 YES 
证 设 侣 (zx 一 ) 守 0,Y TES 且 E39f(3z), 则 
flr) Ff +E EE YES 
这 就 表明 三 为 六 在 S 上 的 极 小 点 . 

反之 , 设 到 为 f 在 5 上 的 极 小 点 .构造 Rr! 中 的 两 个 集合 如 

下 : 
C={(r—E,y) rED,y>7 (zr)— fz)} 
Cs={(x—Xy) :rES, yO} 
易 检 ,C ,Cs 都 是 R"*' 中 的 非 空 凸 集 ; 且 Ci 人 Cs 二 Z. 于 是 利用 定 
理 6. 9 可知 ,存在 全 ER,uER 且 (Go,w) 隆 0, 存 在 aER, 使 得 
r+uya YY TEDY yf — fz) (7.18) 
(rT) uy YrES,Y yO (7, 19) 


ag5* 


在 (7.19) 中 令 z= 二,y 二 0 得 a 之 0. 在 (7.18) 中 , 令 工 = 得 uy 之 a， 
再 令 y 一 01 得 a 所 0, 综 合 得 a 一 0; 同时 ,在 wy 室 a 中 令 y 一 十 co 又 
得 xz20, 车 zx 一 0 则 由 (6 天 0 推 得 名 关 0,. 由 于 不 ESCintD, 在 
《7. 18) 中 可 到 z 为 工 一 地 一 一 和 ,其 中 0 充分 小 . 此 时 ,由 
《7.18) 及 一 0,z 一 0 即 得 各 (zx 一 示 ) 二 一 齐名 信守 0, 由 驻 关 0 知 这 是 
不 可 能 的 . 总 之 ,我 们 证 明了 a= 二 0,uz>0. 用 x 访 除 (7. 18)， 
〈《?, 19)，, 再 记 一 上 一 名 /zx 我 们 得 | 

— rE)yO0 YrED, YYy> fx) — fT) 

一 部 (一 元 ) yO YrES,YySAD 
在 第 一 式 中 令 y 一 f(x) 一 了 A(z), 在 第 二 式 中 令 y= 二 0, 分 别 得 欲 证 
之 两 式 . 证 毕 . 

用 上 面 的 定理 很 容易 证 明 

定理 7. 14 设 上 为 开 凸 集 PER 上 的 函数 , 则 了 为 刀 上 的 刁 
函数 的 充 要 条 件 为 37(z) 关 休 ,Y zxED. 

证 车 了 为 人 上 的 凸 函 数 , 则 在 定理 ?7.13 中 令 S={x},x€ED 
固定 ,可 知 af(z) 天 沼 , 反 之 , 任 取 zz 和 万 ,YY aE (0,1), 且 记 
z 二 az' 十 (1 一 a)x*, 任 取 定 E39ftz), 按 次 梯度 之 定义 式 (7. 17)， 
有 

fr) f(z) + zr! 2) (7. 20) 
fx) fz) + (Cr — 2) (7.21) 
以 a 访 攻 (7.20), 以 (1 一 o) 遍 乘 (7. 21) ,将 所 得 之 结果 相 加 ,得 
az) + (1 — fr) fz) = flar! + (1 — er’) 
证 些 ， 


8$7.4 可 微 点 函数 的 性 质 


定理 7. 15 设 下 在 开 凹 集 DPCR" 上 连续 可 微 , 则 了 是 马上 的 
凸 函数 (严格 凸 函数 ) 的 充 轨 条 件 为 ,对 Y xX!,T ED 有 
fx) fz) + VR) (x! — zt) 
(7. 22) 
(>) (zx! A zi) 


a O64 


证 必要 性 . 由 f 在 DD 上 为 上 屿 ,YY Xs:EDY a (0,1), 
flari + (1 — Wr) Caflz) + (1 — af’) 

。 对 上 式 稍 加 整理 ,得 
f(r) 一 Fr) 交 
”在 上 式 中 令 e*0+ ,得 (7. 22) 之 第 一 式 ， 

车 /在 DD 上 为 严格 是 , 令 z 一 雪 十 记 开 ，, 则 


(xz2 十 wfzl — xz)) 一 fOr) 


性 


《7. 23) 


Fe < 二 Fe) 十 于 7(z2) JT! 
”又 由 (7, 22) 之 第 一 式 得 
flz) fr) 十 Vf rT — x) 

结合 以 上 两 式 , 得 对 x! 闫 zx? 有 

fz) 十 f(z)> fz) + Tf) Tz — 2) 

= f(r) 十 PRAACDHeS 一 xz) 

.由 此 即 可 解 得 (7. 22) 之 第 二 式 . 

充分 性 的 证 明 只 要 在 (7, 20) 和 (7. 21) 中 用 F(z) 代 替 那 里 
的 ,可 以 完全 类 似 地 证 明 . 证 毕 ， 

定理 7. 16 设 了 在 开 同 集 DCAR"Y 上 二 次 连续 可 微 , 则 了 为 DD 
上 的 凸 函 数 的 充 要 条 件 为 ,对 中 zxED, Vf(z) 为 半 正 定 ;多 车 
VsF(z) 对 V xED 为 正定 . 则 了 为 D 上 的 严格 凸 函 数 ,但 反之 不 

证 必要 性 . 任 取 xED 及 dE 说 . 因 DD 为 开 集 , 故 对 充分 小 
的 和 恒 有 xz 十 ad ED, 由 定理 7,15 得 

flr + ad) > f(x) + av flz)d 
又 因为 了 二 次 可 微 , 故 
f(r +ad) = f(r) + av f(r)ra + Sed vf (2)d 十 ofo2) 
比较 上 两 式 得 
oa vfr)d + ota) 之 0 
"G7" 


以 史 遍 除 上 式 后 , 复 令 a->0 即 得 欲 证 . 
充分 性 . 设 Vf(z) 为 半 正 定 ( 正 定 ),¥YxED. 任 取 zz!， 
Xx:E€D,z! 关 x. 由 中 值 定理 知 ,存在 人 =x: 十 a(z! 一 zx?) ,a€ (0,1)， 
使 得 
flr = fz) + VHT Tr! — x) 
十 六 Ce! 一 297V27C2)Ce — 2) 
> fr) + VF) Tr — x’) 
(>) 
由 定理 7. 15 知 了 上 在 石上 为 凸 (严格 凸 ). 
最 后 ,考虑 (zx) 一 (x)*,zER. 易 知 ftz) 在 民 上 为 严格 凸 ,但 
了 (0)==0, 故 由 f(x) 的 严格 凸 推 不 出 V ?f(z) 为 正定 ,证 毕 ， 
特别 地 ,车 多 为 nn 阶 对 称 半 正 定 阵 , 划 


f(z) = TQz + Bz 


就 是 记 上 的 晤 函数 .此 时 ,V ?f(z) 二 QV xER. 
《7. 23) 右 边 的 商 式 常 常 有 用 . 记 

ha) = f(x + oad) — f(x),a> 0 《7. 24) 
车 fz) 为 上 同 函 数 , 则 取 相关 的 人 0 记 ) 王 om/eE(0,1), 则 由 定理 
7. 6 知 

h(a)= hm) = haw 十 《1 一 “0) 
太守 0) 十 (1 一 DACO) = Wh(a,) 

于 是 就 有 Ce) /a 二 h(ay) /mw ; 即 hla) /a 关于 a>0 是 单调 上 上 升 的 ， 
类 伏地 , 若 由 (7. 24) 定 义 的 (a) 中 的 下 为 四 函数 , 则 有 Co) /a 关于 
«>0 是 单调 下 降 的 . 这 个 结果 在 下 节 会 用 到 ， 


$7.5 对 一 类 函数 的 研究 


设 CER" ,DCR ,g(xz,y):CXD->R. 本 节 考 上 典 聘 数 
Zty) = inf#(z ,>) 


的 一 些 性 质 . 记 
Gly)= arg ming(z,y) 
一 好 EC 办 zy) = gy)) 
给 定 YEDD,; 记 满足 
gyY) — gO ELy— WHIED 
的 上 的 全 体 为 38(3)， 
定理 7. 17 设 
1 CC 为 非 空 紧 集 ， 
2 $l。,Yy) 在 CC 上 为 下 半 连 续 ; 
3° 也 为 开 凸 集 ; 
4 &z,) 为 姜 上 的 止 函数 ; 
5" 老 (z*3) 存 在 ,Y zcEC， 
则 z(7) 为 刀 上 的 四 函数 ,县 Y y€D 有 
3g(?) 一 cl co{gd, (zy) 1:7 E GCCy)} (7. 25) 
又, 车 对 某 个 YED; (出 (xXx;y) ;xzEGCY)) 为 单 点 集 , 则 Vgty) 存 在 
且 有 表达 式 
1 VE = #9) |e) (7. 26) 
其 中 zCDEG(C)， 
证 利用 凹 函 数 的 定义 由 4 可 推出 St?y) 为 五 上 的 凹 函数 ， 
(7. 26) 在 所 论 的 条 件 下 由 (7. 25) 推 出 (参见 习题 8). 故 以 下 只 须 证 
《7.25). 注意 ,由 1" 知 GLCy) 非 空 ,¥ yD. 
任 取 yED; 取 EG(y), 对 Y deE 配 且 3? 十 ZEDD, 由 4 和 5" 
(十 四 一 有 (一 EC 十 四 — (x,y) 
HT, yd) — $x ,Yy) 
Sr , yd 
故 得 几 (zo,y)E 3g(y). 由 ag(y) 为 闭 凸 集 又 得 
cleo{$, (zy rE GD) ES Ig(y) {7.27) 
下 证 相反 的 包含 关系 ,用 反 证 法 . 设 有 $€ 3g(y) 但 
EE cl co {$29) :TE GY)) 
了 内 于 后 者 为 非 空 闭 凸 集 , 故 由 定理 6. 5 知 , 存 在 d€ Re 使 得 


"G9s. 


ed<TAd YIEc co rr EC} (7.28) 
另 一 方面 ,由 6E 3g(y) ,我 们 取 正 数列 {入 ) ,y0, 再 取 
Earg mingCryy 十 NG) ,以 及 EE G(y) 
则 由 4? 知 ,对 充分 小 的 入 有 
ABlzh, yt d+ 1 Mf, 一 下 2 
ry 二 Ad) — gr,y) 
= g++ hd) — g(y) 
< 
由 1 可 不 妨 设 x*->x" EC; 结 合 2";, 上 式 表 明 gz Rr yy): 
再 结合 z*EG(y) 得 zx* EGCy), 即 $x? 1y)—$ ry), 
今 任意 固定 1E (0,1), 则 对 入 E (0 ,用 ,由 (7. 29) 及 4， 
ed>[¢$(r% ,yt ha) — $y)]/X 
= [$x yt Ad) —$ rs, y) /N+ [rs Spr ,yA 
[$7 yt i) — $e ] /十 FE yy) — $Cr* ,y) /A 
上 式 第 二 个 不 等 式 后 的 第 一 项 是 利用 了 冲 函 数 的 性 质 ( 见 上 节 之 
最 后 一 名 ) ;第 二 项 是 利用 了 关系 式 $x*,y) 守 $Cx* ,y) (因为 有 了 
Z EC6y)) 由 上 式 即 得 
td > [L$r%,y + MA) 一 由 zy]A 
在 此 式 中 先 令 A=0, 复 令 人 ->0 得 各 9 宇 册 (zx' ,y)TQ, 这 与 (7, 28) 
是 矛盾 的 , 证 毕 . 
定理 7.18 设 定理 7. 17 中 的 条 件 1 一 5* 全 满足 . 进一步 设 
史 (*，y) 是 G(y) 上 的 侨 续 函数 , 则 
gCy) = co{# ,zy) sx € GY)) (7. 30) 
证 由 1.2" 知 G(y) 为 非 空 紧 集 ,再 由 出 (…,y) 是 G(y) 上 
的 连续 函数 知 ,对 固定 的 y，{ 名 (xz, y): zEG(ly)| 也 是 R* 中 
的 非 空 紧 集 , 而 紧 集 的 凸 包 必 为 闭 集 (参见 上 音 习 题 2). 于 是 
(7.30) 电 (7.25) 直 接 得 到 .证 毕 . 
文献 [3] 引 进 了 广义 梯度 的 概念 并 对 上 结果 作 了 推广 . 
引 理 7. 19 设 G 为 Rr 中 的 是 集 ,f;G 一 R. 若 对 Y zzzEG， 


*100。 


(7.29) 


YeaE(0,1)， 有 
af (rx) 十 (1 一 az 一 了 (azrl 十 (一 oz》 (7.31) 
则 了 在 C 上 和 连续. 
证 ” 任 取 {z CCGCztrz EG, 若 (x2) f(z'), 则 存在 so 
>0, 存 在 {zx} 的 子 集 {x5} 使 得 直列 两 式 之 一 成 立 ; 


fxs) 2 fr) ory (7. 32) 
fr Fr) oy ki (7, 33) 

若 (?. 32) 城 立 , 记 人 5S 二 co{fz*}CG, 则 由 (7. 31),(7. 32) 得 
fr f(r) eVvrES (7, 34) 


今 任 取 一 个 区 人 riS, 因 为 zx" 人 EclS$, 故 
(1— ox or€Erscsyvaete (0,1) 
于 是 ,由 (7. 34) 和 (7. 31) 得 
(1 一 ojz eof (2) = fl — or’ + oar) f(r)+ eo 
在 上 式 中 令 a->0 得 ae< 魏 0, 这 与 6 之 0 矛盾 , 故 (7. 32) 不 成 立 ; 同 理 
可 证 (7. 33) 也 不 成 立 . 这 就 证 得 了 了/ 在 GG 上 的 连续 性 ,证 毕 ， 
定理 7, 20 设 定 理 7,17 中 的 条 件 1"~5° 全 满足 ,进一步 设 CC 
为 是 集 且 不 :,y) 是 CC 上 的 凸 函数 , 则 
9g(y) = (bry) :7 € GY)) (7. 35) 
证 任 取 ,ziEG(y),aE (0,1),d 二 所, 则 对 充分 小 的 正 数 
2, 有 
a[$tz! sy y+ ad —$ rt, y+ og er, y+ ad) — $x sy) 
一 [ogfz,y 十 MD) 十 (1 一 aq 内 zy 十 MD)] 
一 [ag(zlyy) 十 (1 一 的 中 zy)] 
>#arit (lor ,yt aAd) —$ ar —a}r,y) 
不 等 式 后 的 第 一 项 是 利用 了 站 *,y) 的 同性 假设 ;其 第 二 项 是 利用 
了 定理 7. 11(ii), 以 >0 遍 除 上 式 后 , 令 4-*0, 得 
[afs lz ,+ ON, Ta (ari+(l—a)z’ ,yd 
由 于 上 式 对 Y aE R" 都 成立 , 故 得 
afs (zl + (1 — WP Cr ,y) 
= 地 tart 二 (1 ari,y) a EE (0,1) (7. 36) 
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从 而 就 有 
co{@y (TI TE GOD) = {Pr x EE coG(y)} 
= {zr E Gy)) 
由 (7. 36) 利 用 引 理 7, 19 知 #(.,y) 在 GCy) 上 为 连续 1 再 利用 定理 
7. 18 知 (7. 30) 成 立 ;最 后 结合 上 式 知 (7. 35) 成 立 . 证 毕 . 
可 题 
1. 设 了 为 一 元 甫 函数 , 则 对 满足 
a 人 dd—c=b—a 
的 az.5sc.d 有 
IO) 十 FD) SE Fla) + fa) 
2. 设 9 是 一 个 单调 非 号 的 单 变量 函数 , 它 又 是 凸 的 , 设 了 是 定义 在 凸 集 
也 上 的 凸 栈 数 ,证 明 失 .xz)) 是 定义 在 娓 上 的 凸 函数 . 
3. 设 是 局 上 的 是 阔 数 , 昌 1/g(z) 为 
$= {rz:g{x) > 10) - 
上 的 号 消 数 ;举例 说 明 , 若 g 是 尺 上 的 凸 函数 , 则 17g(z) 不 必 为 8S$ 上 的 四 函 
数 ， 
4. 证 明定 理 7.6， 
4. 证明 非 齐 次 Farkas 引 理 , 设 AE R"*", bE RCE R",gER, 则 下 列 两 
种 情况 恰 发 生 一 种 . 
1 .六 rrAr<e 有 解 zERR"， 
1.ATy=byc?y 仿 gq,y 之 0 有 和解 yE R", 或 
ATy 二 0,cy<0,y 之 0 有 解 yE R" 
6. 设 ccER ,amER. 记 
S= {ror o> 0 
证 明 , 若 去 为 
Fz) = (z+ a /ltr a) 
在 S 上 的 局 部 极 小 , 则 二 亦 为 在 5 上 的 全 局 极 小 . 
7. 设 下 为 凸 集 DD 上 的 上 同 函 数 且 在 DD 上 不 鸽 为 常数 . 若 f 在 DD 上 有 最 大 
信 , 则 最 大 值 必 在 五 的 边界 上 达到 ， 
8. 设 了 为 止 集 万 上 的 止 画 数 , 则 对 Y 三 EintD,Y7Cz) 存 在 的 充 要 条 件 
为 3f (3) 为 单 点 集 且 3f(3)= {Vf(z)}. 
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9. 设 了 为 灭 上 的 西贡 青 , 若 了 在 尺 上 有 上 和 界 , 则 了 在 R" 上 必 为 常数 
( 握 示 :可 利用 次 梯度 的 概念 . ) 
10. 许多 有 名 的 不 等 式 能 够 通过 凸 性 来 证 明 . 试 证 ,对 a 渤 0,i 二 1,2， 


| Ha 一 1， 以 及 对 任何 的 正 臻 ci = 1;24*,m ,有 


» aci 让 开 C02) 


jl 5 一 1 


11, 设 方 是 开 集 DD 上 的 二 次 连续 可 微 的 凸 函 数 , 风 


Inf Sexpf,(z) ] 
jml 
也 是 D 上 的 贞 函 歼 . 
12, 设 斑 是 R" 上 的 可 微 凸 函数 , 记 
(rz) = max {fiC7))} 
证 明 吉 为 8(x) 在 至 处 的 次 梯 魔 , 当 且 仅 当 
FE cof VHF SE) = OE) ,7 = 1 gm) 
13. 设 @>0,j=1,*…,p 且 2 wl. 车 广 (*) 为 是 集 DCR 上 取 值 
为 正 的 凹 函 数 ,j= 二 1,.… ,pp, 则 
F(r) = wy 


jl 
也 是 号 上 的 辽 孙 数 .又 , 若 { 厂 闻 -1 中 有 一 为 思 上 的 严格 冲 函 数 , 划 下 (zr) 亦 为 
号 上 的 严格 凹 函 数 . 
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第 八 章 ”可 微 非 线性 规划 的 最 优 性 条 件 


$8,1 一 般 形 式 的 最 优 性 条 件 


考虑 如 下 的 一 般 形 式 的 非 线 性 规划 
‘P) min f (2) 
其 中 SCR" .fnR. 
“可 行 方向 ”是 刻 划 最 优 性 的 重要 概 


1 念 ， 
NW 定义 8&.1 设 xE5CR'. 说 dER" 是 
Wd 处 (关于 5) 的 一 个 可 行 方向 ,车 存在 > 
0, 使 得 
组 8.1 T+ad ES, Yact€t [oa 
如 图 8.1,d!, 都 是 zx 的 可 行 方向 ,而 d: 则 不 是 . 
显 见 ,车 5 为 凹 集 则 YY xz,yES,y 一 x 是 x 处 的 一 个 可 行 方 


d! 


向 . 
定理 8.2 设 了 在 包含 SSRr" 的 一 个 开 集 上 连续 可 微 ,车 z* 
是 (P) 的 局 部 极 小 点 , 则 对 x* 处 的 任 一 可 行 方 自 ,都 有 
VCr Cd mn 
证 设 @ 为 z 处 的 一 个 可 行 方 向 . 利用 Taylor 公式 有 
flr’ + od) = f(r) + av flr' Yd + ola) 
车 YVA(z" Yqd<0,; 记 B= 二 一 Vf 了 (rz')"d>0, 则 存在 cE 0,4) 使 得 
ola) /fal 之 B/2yY aE C0,e). 从 而 
flr’ + od) — Fr) =avflr’ rd 十 Do Eap/2 < 0 
(8. 1) 
对 zE (0,e) 和 但 成 立 . 这 说 明 x* 非 <P) 之 局 部 极 小 . 证 毕 ， 
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推论 8.3 设 了 在 包含 SE 惨 的 一 个 开 集 上 连续 可 微 . 和 且 设 
Xx* 为 5 的 内 点 .车 工 * 为 (P) 的 局 部 极 小 点 , 则 了 f(x*)==0， 

证 因 z* 是 5 的 内 点 , 故 Y dE Rr 都 是 zx* 处 的 可 行 方向 . 特 
别 地 ,在 定理 8. 2 中 取 4d 二 一 V fx" ) ,得 一 Vflz*) 必 滨 0, 因此 
必 有 f(x')==0, 证 毕 . 

推论 8.4 设 在 包含 SCR' 的 一 个 开 集 上 连续 可 微 , 进 -- 
步 设 是 凸 集 S 上 的 凸 函 数 , 则 x+*ES 是 CP) 的 极 小 点 的 充 要 条 
件 是 

VD 一 0VYyES 
进一步 ,车 x' 还 是 5 的 内 点 ; 则 x' 是 (P) 的 极 小 点 的 充 要 条 件 是 
Vf(r’)=0. 

证 注意 到 对 Y zE5,zx 一 x 都 是 zx 处 的 可 行 方向 ,必要 性 

由 定理 8. 2 立 得 . 反之 ,由 定理 7, 15 知 

CO A rz 一 zyYzES 
从 而 由 条 件 即 得 第 一 个 结论 . 第 二 个 结论 由 第 一 个 结论 结合 推论 
8. 3 立 得 .证 毕 ， 

下 面 两 个 定理 的 证 明 与 定理 8. 2 的 证 明 类 似 , 故 留 给 读者 证 
之 . 

定理 8.5 设 下 在 包含 SSCSR" 的 一 个 开 集 上 二 次 连续 可 微 . 
著 z* 是 (P) 的 局 部 极 小 点 , 则 对 x* 处 的 任 一 可 行 方向 2 有 

(1) VYflr' TCD 

(ii 车 V(x' d=0, 则 dTV ?f(x* dm 

定理 8.6 设 了 在 包含 SR" 的 一 个 开 集 上 二 次 连续 可 微 ， 
且 设 z* 是 5 的 内 点 ,车 x' 是 (P) 的 局 部 极 小 点 , 则 卫 F(z' y= 二 0 是 
VY f(z ' ) 为 半 正 定 . 

例 8.7 min fry xr) = (C(x) — zz rir 

S, t。 0 

容易 看 出 , 极 小 点 为 z* = (1/2,0)7. 我 们 来 验证 定理 8. 2 和 定 

理 8. 5. 计算 得 


Vf(z*) -| 9 


s/2) 1 


Vif(r*) = 
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x zx" 处 的 可 行 方 向 集 为 
s {d = (diyd)T:d; > 0} 
4 易 检 个 Vf(zx') d=3/2'd; 之 0s 
(i) 对 注 足 V7Cz" rd 一 0 的 又 形 
4 。 如 (di,07, 于 是 (doOrVzf(z[ 人] 一 
8.2 2(d 六 0. 
定理 8.8 设 了 在 包含 5SC 的 一 个 开 集 上 二 次 连续 可 微 ， 
目 设 x* 是 5 的 内 点 ,车 了 f(z*)=0 且 V?f(zx*) 为 正定 , 则 z" 是 
(P) 的 一 个 严格 局 部 极 小 点 . 
证 因 z* 是 S$ 的 内 点 , 故 存在 & 沁 0 使 Olz' ,a1) 呈 5. 任 取 工 
EoOtz ,6) ;由 flzx" ) 二 0, 利 用 微分 中 值 定理 得 
ft) = fe) + a) fe + Or "rx") 
(8. 2) 
对 某 个 gE(0,1) 成 立 ; 由 的 二 次 连续 可 微 性 又 知 ,存在 6 之 0 使 
得 Y TEOCr' eV2Fz) 为 正定 . 于 是 取 es 一 min{eyez} ,从 而 由 
(8, 2) 得 
Fr fr YTE OC Ee) 有 ETA 
证 毕 . 
定理 8. 2 和 推论 8. 3 说 的 是 一 阶 必要 条 件 ,推论 8. 4 说 的 是 一 阶 
充 要 条 件 , 定 理 8. 5 和 定理 8. 6 说 的 是 二 阶 必 要 条 件 , 定 理 8. 8 说 的 
是 二 阶 充 分 条 件 . 由 二 阶 必要 条 件 可 以 看 出 ,在 CP) 的 极 小 点 x" 处 
目标 函数 f 应 具有 某 种 凸 性 (参见 定理 7. 16). 


$ 8.2 标准 型 的 最 优 性 条 件 


考虑 如 下 的 标准 型 非 线性 规划 : 
(NP) .min f(z) 
8.t, hz)=0, i=1," ,mm 
gCTI EO j=1" 1p 
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其 中 产 丰 和 一 1 2 BE1 了 一 1 9， 力 都 是 居 上 的 实 值 函 数 . 本 
节 , 我 们 记 
S= {rE€ Rh(r) = 0 = 1 mg (rT) S07 = 1 p} 
则 (NP) 即 为 minsesf(xz) 之 形式 . 故 上 节 的 所 有 结论 对 此 处 亦 适 
用 .但 对 (NP) 应 发 展 更 有 用 的 最 优 性 条 件 . 记 
h= (hs hm) 
tk 
X={rE Rh(r)=0) 
TVh=(Vh ,VVh) ER*™ 
H,.={d€E FR:YVh(zr) d=0},rEX 
以 下 ;为 叙述 简洁 起 见 , 说 向 量 值 函数 (或 g) 在 R'* 上 为 连续 可 微 
指 的 是 天 (或 57 的 每 个 分 量 后 (或 g) 在 RR 上 连续 可 微 , 简 记 为 
hEC'( 或 gEC) ,类似 地 有 EC?( 或 gEC) ;说 是 线性 函数 据 
的 是 每 个 hi 为 线性 ;说 g 是 凸 函 数 指 的 是 每 个 gj 是 凸 函 数 ,等 等 ， 
引 理 8.9 设 x*EX, 设 在 RR 上 连续 可 被 . 若 向 量 组 
Viatr Viotz Yh Lr" ) 线 性 无 关 , 则 对 Y d€ 五. , 存 
在 数 a 盖 0 以 及 一 个 可 微 的 向 量 函 教 xz(2):[ 一 a,e] 一 R", 满 足 
ZK0) = x" ,hr = 0,lt|Ra 有 B20 =d (8.3) 
其 中 (二 (0 TY)T. 
证 任 了 到 dEHH., 邻 1ER,uER", 考 虚 以 (i,w) 为 变量 的 方 
程 组 
下 (十 经 十 VPR at 一 0 《8. 4) 
由 关 拓 左 知人 (8.4) 有 解 上 0,z 一 0. 对 (8.4) 左 边关 于 2 求 导 后 ,再 
邻 (tf,u) 二 0, 得 表达 式 Vh(z*) Varkz 此 和 矩阵 非 异 ( 因 
Vatz winz) 线 性 无 关 )* 根 据 隐 函数 存在 定理 知 ;, 存 在 
数 a 汪 0 以 及 一 个 可 微 的 向 量 函 数 xC2): || 所 ayu(0) 二 0, 并 且 
htez’ td VRCT Nu = 0,|t| a 《8, 5) 
对 上 式 关 于 在 1 二 0 处 求 导 ,注意 到 Vh(z') "d=0, 得 
0= Vh(r Yd + VA uC0)) = Thr I Thr Yu(0) 
其 中 (2) 的 定义 如 (2), 仍 由 hCGz*' )7ThCzr* ) 非 异 得 (0) 二 0. 
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定义 

zt) = xtd + Vhr’ at sa (8, 6) 
则 z(0) 一 z* ,由 (8.5) 得 下 zt) 一 0, | 安 % 再 由 (8.6) 关 于 :在 
zt 一 0 处 求 导 得 

£0) =d++ Vvhtr’ Iu(0) =d 
故 由 (8. 6) 定 义 之 zt 连续 可 微 且 满足 (8, 3). 证 毕 . 
再 记 
Sx) = {jg7) = 0,7 = 1 p} 
注意 ,对 于 不 等 式 约束 的 情况 ,符号 J(x) 经 常 要 用 到 . 以 及 记 
Go ={d€ Vg (rd <0 ET(x')) 

引 理 8. 10 设 f,h,g 在 8 上 连续 可 微 , 设 z*EES; 即 x* 对 
(NP) 可 行 .着 x" 是 (NP) 的 局 部 极 小 , 且 YhCr* ),i==1,…,m, 线 
性 无 关 , 则 

{d:¥ f(r) dad <0 NH: Ge 一 分 (8. 7) 

证 车 (8.7) 不 成 立 . 取 deEfd:Yczord<co0 门下 
Ge. 由 Vz 一 1 线性 无 关 , 利 用 引 理 8. 9 知 存在 可 微 
函数 z(2) 满 足 (8. 3), 于 是 就 有 

Fr) = FrCO0N) + EV FIONN TAO) + oddt|) 
= f(r') 十 2VYACz Yd + olltl) (8. 8) 
类 似 地 ,注意 到 gj(x*)=0,7EJ(z*), 叉 有 
gzT0) 一 1VEZ dt od) jE Sr) (8.9) 
由 于 QQ 满足 VfCr* yA<0,Vg(r')A<0,jEJ(r'), 类 (8.1) 
的 推导 由 (8.8) 和 {8,9) 知 ,对 充分 小 的 t>>0, 有 
fz) fr), gz) 0 FE Tr) (8,10) 
又 ,对 jE{l…bp)w(r 有 Br )<0, 根 据 gytz(z)) 关 于 1 的 
连续 性 知 , 对 充分 小 的 |z| ,有 
gL) OF E {le sph Wr') (8. 11) 
(8, 10) 与 (8. 11) 一 起 ,再 加 上 Cr(t)) =0,|t| 才 4, 表明 工 ' 非 
《NP) 的 极 小 点 , 故 得 矛盾 . 证 毕 ， 
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定理 8. 11(Fritz John) 设 /,h,g 在 Re 上 连续 可 微 .车 x' 是 
(NP) 的 局 部 极 小 , 则 存在 NosN t=l sm psfjJ(X") ,使 得 


MITT) DNVRE)+ > pvpg(r')=0 
5 一 1 


jiEwzr 


(8. 12) 
加 D0,7 EE Jr') (8, 13) 
(hdspr) 天 0 (8. 14) 


其 中 = (1 pA) py 是 由 MjEJ rT” ) 所 组 成 的 向 量 . 
注意 , (8. 12) 一 (8, 14) 等 价 于 (8. 15) 一 (8. 18); 


刑 卢 
MVE 十 之 有 Vi(z + Dv g(r’) 一 0(08,15) 
t=1 f=1 


PB") 一 0,7 一 1 办 {8. 16) 
加 0,7 = ly p 《8. 17》 
(hh 天 0 《8. 18) 


其 中 二 (ps pp 

证 车 V5(z' ,i 二 1,"…,m, 线 性 相关 , 则 存在 不 全 为 零 的 
5 加 :使 V(xz') 一 0. 余下 ,内 要 令 =0,p 一 0,j€ 
dz ), 恒 知 (8. 12) 一 (8. 14) 成 立 ， 

车 VPCz ,i 二 1,"…,m, 线 性 无 关 , 则 记 44 为 由 f(x*)7， 
Vg;(x")" ,jEJLz' ) 作 为 行 所 组 成 的 矩阵 , 记 B 为 由 Vh(x')7， 
i 二 1,"…,?% 为 行 所 组 成 的 和 矩 阵 , 因 x* 为 (NP) 为 局 部 极 小 点 ,由 引 
理 8.10 知 下 系统 关于 d€ R" 无 解 ， 

Ad <0,Bd=0 (8. 19) 
此 时 ,利用 第 六 章 习题 7 的 结果 直接 可 验证 (8. 12) 一 (8. 14) 成 立 ， 
证 毕 ， 

设 x' 是 NP) 的 可 行 点 . 车 zx*' 能 使 (8. 12) 一 (8.14) 成 立 , 则 
说 x" 是 (NP) 的 一 个 Fritz John 点 ,车 对 一 个 具体 问题 ,x' 是 它 的 
Fritz John 点 ,但 在 对 应 的 (8. 12)~(8.14) 中 怡 有 为 =0, 则 这 个 
Fritz John 点 并 没有 为 我 们 提供 f(z} 的 信息 ,这 不 能 不 说 是 一 个 
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重大 的 饼 馈 , 因 之 ,需要 寻找 条 件 其 能 确保 在 (48.12) 一 (8.14) 中 有 
0, 这 一 类 条 件 被 称 为 约束 品 性 (constraint qualification)。 
定理 8.12 设 f,h,g 在 R" 上 连续 可 微 .车 z' 为 (NP) 的 极 小 
点 , 且 下 面 的 Mangasarian-Fromovitz 约束 品 性 成 立 ; 
VB IA OE STN Vh(r’ Yd = 0 = 1,"",m 
1 dE RTh(r ) i 二 1722 线性 无 关 


(8. 20) 
则 存在 AE R*,pE R? ,使 得 
m pp 
VD 十 > WVptz + DVar") = 0 (8.21) 
1 一 1 j=l 
PER 一 0 一 ] sp (8. 22) 
局 之 0 一 1 四 (8. 23) 


证 XxX" 是 (NP) 的 极 小 点 , 故 由 定理 8. 1t1 知 (8. 12) 一 
(8. 14) 成 立 . 车 加 一 0, 则 由 (8. 12) 得 


STC") + D2) pver')=0 (8. 24) 
1 : jEJ(z") 
其 中 记 守 0,jEJ(z'), 且 pjEJCZ') ,和 i 二 1 ,ms 这 些 数 不 
全 为 零 . 以 满足 (8. 20) 的 Q 与 上 式 作 内 积 , 得 
DNVhr TA+ YD) pvgi(r') d=0 
el ET) 
若 有 某 个 司 关 0, 则 上 式 不 能 成 立 , 故 必 有 研一 0JEJCzr 于 是 
(8. 24) 又 成 为 1 入 Th(z') 二 0, 且 加 ,i 二 1,'…ym, 不 全 为 零 ， 
这 与 Vh(z'),i 一 1,…,m; 线 性 元 关 的 假设 条 件 相 矛盾 , 故 有 
>0, 
以 2% 遍 除 (8. 12) 一 (8, 14) ,再 将 4 ,Ai 视 为 新 的 和 pg. 
这 等 价 于 说 :( 在 Ni>>0 时 7 在 (8. 12) 一 (8. 14) 中 令 罗 = 二 1, 或 在 
(8.15) 一 (8. 18) 中 令 加 二 11 而 这 时 的 (8,15) 一 《48.18) 又 等 价 于 
(8. 21) 一 (8. 23). 证 毕 . 
车 x" E5 能 使 (8. 21) 一 (8. 23) 成 立 , 则 称 z* 为 (NP) 的 
Kuhn-Tucker 点 ,简称 K-T 点 ,因为 8. 21) 一 (8.23) 首 由 开 uhn 和 
» liO" 


Tucker 给 出 ( 见 [10])，, 对 应 的 (1,p) 称 为 与 字 7 相连 带 的 K-T 科 
” 子 , 或 广义 Lagrange 乘 子 . 下 一 个 定理 容易 证 明 ， 

定理 8. 13 设 f,h,g 在 Re 上 连续 可 微 .车 z* 为 (NP) 的 极 小 
点 , 且 

Vi(z 一 1 VTSi(z Er 线性 无 关 . 

(8. 25) 

则 zx' 为 (NP) 的 K-T 点 . 

寻找 在 (CNP) 的 极 小 点 x" 处 使 (8. 21) 一 (8. 23) 成 立 的 条 件 ， 
即 约 东 品 性 ,是 规划 论 的 一 个 重要 研究 方向 , 上 面 的 条 件 (8, 20) 或 
(8. 25) 都 是 约束 品 性 . 定理 8. 12 和 定理 8. 13 的 证 明 思 路 可 概述 如 
下 : 


z" 是 (NP)__ <“ 是 (NP) 的 某 个 约束 品 性 |z* 是 (NP)| (8. 26) 
的 极 小 点 Fritz John 点 的 K-T 点 
定理 8.14 设 f,h,g 在 R* 上 连续 可 微 , 有 昌 设 f,g 是 R* 上 的 
是 函数 ,是 线性 函数 .车 zx* 是 (NP) 的 K-T 点 ; 则 zx" 是 (NP) 的 
全 局 极 小 点 . 
证 由 凸 性 及 可 微 性 假设 ,有 
jz fx) Vf x DT rx*) (8, 27) 
hx) 一 让 (rz ) Vhlr) rm Ti= l,m (8.28) 
gz) Sgr) Var (rmx) ,j=l p (8,29) 
以 入 遍 寺 (8, 28) ,以 py 遍 莱 (8. 29) ,然后 将 (8. 27) 与 所 得 之 全 部 
结果 相 加 ,得 
. tM p 
Fr) + DAhAz) 十 YD pgilr) 
t=1 j=1 
忆 EH 
字 TFCz) 十 > hilz*) 十 271HA&i(z")] 
琶 中 
+ vf) 十 DAThr) 十 25VSiz IT (zr — 7") 
iml] i=1 
上 式 右 端 第 二 项 为 零 (由 (8. 21)), 第 一 项 中 5)? ,pgi(z')=0 
《由 (8, 22))，2》 ”Ah(x') 一 0 天 所 (zx') 二 0,i 二 1,…,m). 于 是 
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上 式 成 为 
f(z) 十 > (zx) 十 Dg) >f(r I YrER 


若 zES， 则 上 式 左 喘 第 二 项 为 零 ,第 三 三 项 非 正 (由 (8.23)), 故 由 上 
式 终 得 
fz) Fr, YrESN 证 毕 . 
注 车 f,g 是 R" 上 的 凸 函 数 ,hh 是 线性 函数 , 则 称 对 应 的 
(NP) 为 标准 凸 规划 (对 fg 的 可 微 性 这 里 并 不 作 要 求 ). 标准 凸 规 
划 在 理论 和 应 用 方面 都 有 重要 意义 . 关于 标准 凸 规划 的 某 些 结果 
可 在 下 章 中 找到 . 
例 8. 15 重 写 例 8. 7 中 的 问题 
min f(xiyxe) = (x) 一 zi xs 十 is 
3.t，Triyt 六 0 
由 于 条 件 (8, 25) 在 此 总 成 立 , 故 问题 的 极 小 点 必 为 K-T 点 . 写 出 
对 应 于 (8, 21) 一 (8, 23) 的 式 子 ,以 及 约 东 ,得 


|- 站 - ET 
十 1 入 0 A 


Ti pore = 0 
pT Te 之 0 
解 之 ,得 唯一 解 
xz" 一 (17/2.0)7 pr 一 0 有 = 3/2 
由 例 8. 7 中 的 计算 知 V :f(zx* ?是 半 正 定 的 ,故此 例 为 标准 凸 规划 ， 
从 而 由 定理 8.14 知 此 问题 有 唯一 的 全 局 极 小 点 zx"， 
今 从 与 (8. 26) 不 同 的 思路 来 寻找 约束 品 性 ,我 们 从 “可 行 方 
向 “ 见 定义 8. 1) 来 展开 我 们 的 讨论 , 仍 设 xz ES5. 记 
D(z') 一 {d € R':d 为 x* 处 的 可 行 方向 } (8. 30) 
若 dEDCzx'), 则 存在 >>0, 使 得 Y ceE [0,a] 成 立 其 
hx” + ad) 一 0 一 19 
Bi 二 od) 0,7= 1,p 
于 是 由 
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0= h(x" + ad) 
=h(z) + avh(zr" Yd 十 ofa) 
= aVh(r' Yd + ole) ,i = 1,,m 
以 we>0 遍 除 上 式 后 , 复 令 a->0, 即 得 
有 (ZTE 一 0 一 l,m (8. 31) 
类 似 地 ,由 
0m Si + ad) 
= g(x') + aVe(r’) Td ola) 
=avVg(r") d+ ol), EE Jr') 


印 得 
Vag(z') dD0, jE Jr') (8. 32) 
再 记 
Zr )=(d:Vh(r' d=0/=1, my VE YT dO0, 
jEJ(r")} (8. 33) 
则 由 上 面 的 分 析 得 到 
D(x’) CZ(r') (8. 34) 
注意 ,定理 8. 2 也 可 表述 为 ;车 z* 为 (NP) 的 极 小 点 , 则 
{d:vVf(r ad < 0 NN Dr)= (8. 35) 
设想 能 将 (8. 35) 中 的 DCz* ) 用 2Z(z') 来 代替 ,出 有 
{dv fr Td <0} NN 2 ) = (8. 36) 


上 顺便 指出 ,条 件 (8. 36) 强 于 条 和 件 (8. 7). 条 件 (8,7) 等 价 于 xz"* 是 
(NP) 的 Fritz John 点 ( 兄 定理 8. 11 的 证 明 ),. 下 面 的 结果 表明 ,条 件 
(8. 36) 恰 等 价 于 z* 是 (NP) 的 K-T 点 . 
定理 8.16 设 了 ,hg 在 RR 上 连续 可 微 ,z* ES, 则 (8. 36) 成 
立 的 充 要 条 件 为 ,存在 A4E R",yE R? 使 (8.2])~(8. 23) 成 立 ,或 
用 向 量 的 写法 就 是 
Vix) VAT 1 十 了 AZ p=0 《8. 37) 
pgfz 7 一 0 (8. 38) 
A 之 0 (8. 39) 
其 中 VS 的 定义 如 六 
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证 记 有 4 为 由 WVh(r* 一 VYh(r ),i= 二 11, 一,m 以 及 
一 Vgj(z*),fEJ(z") 作 为 询 所 组 成 的 矩阵 , 记 5= 了 f(x"), 则 
(8. 36) 等 价 于 说 

凡 满 足 drA4 之 0 的 d 必 有 di6 之 0 (8. 40) 
利用 Farkas 引 理 (定理 6. 6) 容 易 验证 , (8. 40) 等 价 于 ;存在 XE R"， 
LjEJ(zx"), 使 得 
Vz + DNVRr I > Ver’) =0 (8.41) 
{=1 jEI(z*) 
2 0,7E Vr’) (8. 42) 
而 (8. 41) 一 人 8. 42) 与 (8. 21) 一 (8. 23) 等 价 . 证 毕 ， 

车 在 (NP) 中 有 hh,g 都 是 线性 本 数 , 则 对 Yz'" ES 显然 有 
D(x" )= 二 Zl(z"). 这样, 由 (8. 35) 即 推 得 (8. 36). 从 而 由 定理 8. 16 
立 得 . 

定理 8.17 设 了 在 Rr 上 连续 可 微 , 设 h,g 都 是 线性 函数 . 若 
xX" 是 (NP) 的 极 小 点 , 则 xz' 为 (NP) 的 K-T 点 ， 

Kuhn 和 Tucker 最 早 建立 的 约束 品 性 如 下 ， 

(KTCQ) 给 定 z*ES,Y dE€EZ(lzr*), 存 在 定义 在 [0,e](e>>0) 上 
的 可 微 向 量 函 数 x(t) ,满足 

(iD x(0)=x*} 

(i) xz 人 (ESELOe]; 

《ii) 对 某 个 a>0 有 工 (0) 一 ad 

定理 8. 18(Kuhn-Tucker) 设 f,h,g 在 R" 上 连续 可 微 , 设 在 
z ES 处 (KTCQ) 成 立 , 车 xz* 为 (NP) 的 极 小 点 , 则 z' 为 (NP) 的 
区- 工 点 . 

证 因为 xz“ 为 (NP) 的 极 小 点 , 故 i 二 0 必 为 问题 

,Min f(x(D)) 
的 解 . 根据 定理 8. 2( 此 时 1 是 :一 0 处 的 可 行 方向 ) 得 
0 f(x)) -1 


= VFO FE0) 
"1ld" 


一 aVz IE ED ) 
上 式 表明 (8. 36) 是 成 立 的 . 由 定理 8. 16 知 结论 为 真 . 证 毕 . 
定理 8. 16 和 定理 8. 18 的 证 明 思 路 可 概述 如 下 ， 


z' 是 CNP)| 茶 个 约束 品 性 Farkas 引 理 [* 是 CNPY 
一 一 [C8. 36) 成 立 | 36) 成 立 | 圭一 六 
的 极 小 点 成 3 的 区 -点 


(8, 43) 
已 经 建立 了 不 少 的 约束 品 性 ,这 些 约束 品 性 和 它们 之 间 的 关系 可 
参见 [2] 或 L12]. 
下 例 表 明 (NP? 的 极 小 点 不 必 为 民 -IT 点 . 


例 8. 19 min —z 
8.t, Xr— (1—x) 0 
ZisT2s20,T1s Ts ER 
易 知 ,x" = 二 (1,0)” 是 它 的 全 局 极 小 点 . 写 出 对 应 的 (8. 37) 一 
(8, 397 1: 


-a 


这 个 式 子 对 如 ;ps 是 无 解 的 . 请 读者 验证 此 例 对 (8. 36) 不 成 立 . 

利用 上 述 概 念 可 将 定理 8. 14 推 广 如 下 . 

定理 8.20 设 了 ;hg 在 记 上 连续 可 微 , 设 (NP) 的 可 行 集 S 
为 凸 集 , 设 了 是 3 上 的 凸 函数 . 若 zx* 是 (NP) 的 K-T 点 ,; 则 zx' 是 
NP) 的 全 局 极 小 点 . 

证 因 x* 是 (NP) 的 K-T 点 ,由 定理 8.16 知 (8,36) 成 立 , 从 
而 结合 (8. 34) 知 C8. 35) 成 立 . (8. 35) 表 明 对 z' 处 的 任 一 可 行 方向 
d 都 有 Vflr')"d 之 0. 再 利用 推论 8. 4 知 x 是 CNP) 的 全 局 极 小 
点 .证 毕 . 
以 下 讨论 二 阶 最 优 性 条 件 . 为 得 到 二 阶 必要 条 件 ,我 们 需要 另 
一 个 约束 品 性 . 记 

Zl) = {dVh(r' Yd = 0 = 1 sm 
Vgi(z')Td = 0,7 € J(r")) (8. 44) 
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(MFCQ) 给 定 z* ES.Y dE2Z(z*'), 存 在 定义 在 [0,e](e>>0) 上 
的 可 徽 向 量 函 数 z+(z) ,满足 
(ix(0) 一 工 
(i) prt)=0,i=1 ,mp (rtt))=0, jE T(r’ ), 
tzE [0,e]; 
( 道 )》 对 某 个 a 汪 0 有 (0) = 二 ad. 
定理 8. 21 设 /,h,g 在 RR 上 二 次 连续 可 微 , 设 在 x*ES 处 
(MFCQ) 成 立 , 车 xz* 是 (NP) 的 极 小 点 且 为 (NP) 的 K-T 点 , 即 存 
在 4'* ER",j/ ,jEJ(z") 使 得 (8. 21) 一 (8. 23) 成 立 , 则 对 Y dE 
Zlx') 都 有 
A {vf Yt DN VIR)+ DD pviglz') do 
1 jET(z") 
(8. 45) 
证 任 到 dE2(z'), 令 (是 (MFCQ) 中 的 函数 ,不 失 一 般 
性 ,可 假定 那里 的 a 二 1. 于 是 就 有 


Fih(z(0)) = 20)T yhz(0)) C0) 十 2(0)T Th CzC0)) 
一 7 a 十 OT VY h(x” ) sf 一 ly y 72 
(8, 46) 
其 中 宇 ( 人 二 C440) … ,zz?(2))7. 类 似 地 
2 
Sig)(x(0)) =diV’ig(z')ad + 0 VY g(r) EE Jr ) 
. (8. 47) 
从 (8.21) 一 (8.23) 和 必 (xz*) 的 定义 ,我 们 有 
f(r(0)) = dv/f/(r") 


= 一 ar[> Vhlz 十 Dp valz')|=0 (8.48) 
各 1 ET(z") 
由 于 对 充分 小 的 :E50,e],x(t) 对 (CNP) 可行, 以 及 x 为 (NP) 的 极 
小 点 ,利用 与 定理 8. 18 的 证 明 的 同样 的 思路 同时 利用 定理 8. 5 及 条 
件 (8. 48) ,我 们 有 dd: 了 Cr00))/dz: 之 0, 即 
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2 
f(z(0) = dVif(r)ad + ze Vf) > 0(8.49) 


下 相应 的 狗 子 知 (8. 46) 和 (8. 47), 然 后 将 所 得 之 结果 一 起 与 
(8. 49) 相 加 ,再 一 次 利用 (8. 21) 一 (8. 23), 即 得 (8. 45). 证 毕 . 
要 验证 (KTCQ) 或 (MFCQ) 都 相当 困难 ,但 条 件 (8. 25) 就 能 
保证 它们 都 成 立 . 详 见习 题 11. 
为 得 二 阶 充分 条 件 , 我 们 要 从 J Cz' ) 中 分 出 一 个 子 集 来 . 设 
x" 为 CNP) 的 一 个 KK-T 点 , 设 py* 是 对 应 于 不 等 式 的 飞 子 . 所 
jr’) = {jsj E Sr') ,py > 0) (8. 50) 
以 及 
Zr = {dVhlzr')Tad = 0,i= ly," sm, Vgi(r" Yd £0, 
jEJzx) Ver ) Td = 0,7 EE jr')} (8. 51) 
定理 8. 22 设 f,h,g 在 Kr 上 二 次 连续 可 微 , 设 x' 是 (NP) 的 
K-T 点 , 即 存在 4" E R",p* EE Rt* 使 得 (8. 21) 一 (8. 23) 成 立 . 车 对 
YdEZlz"') 且 4d 关 0, 有 
Aa [vf + DN VR) + 2D) vig(z') la>0 
iml jEIlx") 
(8. 52) 
则 zx’ 为 (NP) 的 一 个 严格 局 部 极 小 点 . 
证 用 反 证 法 . 设 结论 不 成 立 , 则 存在 3 中 的 异 于 xz' 的 序列 
{zt} ,zx 且 
fOr SE fr) k= 1,2, (8. 53) 
记 江 =x' 十 md*, 使 得 上 d=1 且 a 之 0. 这 样 就 有 a 一 0. 由 
la 二 1; 不 妨 设 4:->q, 并 且 亦 有 |lad|=1. 
首先 证 4EZCr*), 对 i==1,*…,m; 有 
0= ht) om h(x") 
一 Vhlr’ 十 Smad) ui0 扫 训 委 1 
以 mw 遍 除 上 式 后 , 令 人 co ,得 
VvVh(r’ Jd = 0,1= 1,,m C8. 54) 
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类 似 地 有 
Vagi(z ad 0, jE Tr) (8. 55) 
以 及 由 (8. 53) 有 
Vf(r'Y do (8. 56) 
若 2&ZCzx*), 则 由 (8. 54) 和 (8,55) 知 , 必 存 在 某 个 EJ 了 (zx* ) 使 
Vgitz")"4<0. 但 由 x* 为 K-T 点 ,我 们 得 到 
Vfl(z' yd=— > Vh(z’ Td 一 Si nw ver Yd 


JEJCz 
— Vger) ad>0 
而 这 与 (8. 56) 矛 秆 , 故 dEZtx*). 
其 次 ,利用 二 阶 中 值 定理 得 
0 fr) — fr') 


= VCz ad 十 gyr yf + 和 avi] 
0 委 鼎 近 ] (8. 57) 
0= hx) — hr’) 
= Vhlz Jadt + ad)T yhlz" + had dt 
0 1 = 11, (8. 58) 
0 2 gr) 一 g(x” ) 
= Vez Jadt + Ma vig + Kad' yd 
OCR1,7E (rr) (8. 59) 
以 好 ,7 分 别 腾 以 (8.58) 和 (8. 59), 然 后 将 所 得 之 结果 一 并 求 和 
后 ,再 加 上 (8, 57) ,再 利用 区 - 荆 条件 (8. 21) 一 (8. 23) ,得 
a VC 十 Emd*) 十 pF Vih(lr’ 十 Waa *) 
十 > 所 VCz + had) )adt 0 
jEJ(zT"Y 
以 性 /2 遍 除 上 式 , 然 后 令 ->o0, 得 
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a vf ) 十 2 V2h(r") 十 > A Vg (rT )jz 和 0 
EJ(z") 


因为 all 关 0, 上 式 与 (8. 52)? 了 矛盾 ,定理 由 是 得 证 . 
习 是 


上 证 明定 理 8, 5 和 定理 8. 6. 
2. 求 解 
max 一 并 十 14z 一 到 十 6y 
5.t. 2 十 y 匀 2 
十 27y 扫 3 
3. 给 定 cE 届 是 c 关 0, 考 处 
max cTx 
St. TTITER 
证 明 x“ 二 c/lel 是 满足 二 阶 充分 条 件 的 解 . 
4. 利用 Kuhn-Tucker 理论 求解 下 面 况 问题 ， 
min (zx) + x 
st TI 十 Tz 所 1 
(rT) + (rx) :9 
5. 对 问题 
{IP) min flr) 
St glx)E0, =,p 
设 f,g 连续 可 微 , 且 设 g; 都 是 止 函 数 ， 证 明 车 x* 是 (IP} 的 极 小 点 , 则 
{ad: Vr Yd < ON {diVer Vas0E r= 
6. 对 可 微 的 标准 型 非 线性 规划 (NP)， 设 已 有 条 人 忻 (H) 使 得 在 此 条 件 下 
(NP) 的 任 一 个 Fritz John 点 都 是 它 的 全 局 极 小 点 .证 明 ， 着 条 件 ( 了 H) 仅 与 约 
束 有 关 , 则 它 与 * (NP) 的 可 行 集 至 少 合 有 两 点 "一 起 就 是 一 一 个 约 东 品 性 ， 
7, 对 最 小 网 问题 便 5. 2， 求 它 的 最 优 性 条 件 并 解释 其 几何 痊 义 . 
8 给 定 正 数 ais,cisi 二 1, yn, 以 及 正 数 b. 考虑 问题 


min f(z) = Dle/z, 
j=1 


有 
8S. t. Sax =6 
i=1 


Ti 0 = 1, ,nn 
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证 明 目 标 函 数 的 最 优 值 为 
f(z*) 一 [Bae) 1s 


i=l 
( 担 示 ;不 必 求 出 x".) 
9. 求 下 面 问题 的 最 优 从 ,其 中 a 为 预先 给 定 的 数 . 
max yTTz — «Tfz, 


iml j=l j=l 
jt 


®. 4, yz 一 工 


> 0 了 一 1 
(提示 :可 分 最 优 解 z* 至 少 有 一 分 量 为 零 及 z* >>0 两 种 可 能 的 情况 讨论 之 . ) 
10. 考 虚 问 题 
min 子 (zz 一 《Ti 一 1)2 十 《zz 和 
st 克 (zly22) 一 一 《zj2AB<0 
其 中 8>>0 是 参数 . 记 于 一 (0,.0)7- 
{a) 求 出 有 的 范围 ,使 K-T 条 件 在 主 处 成 立 ; 
(b) 求 出 上 的 范围 ,使 二 阶 必 要 条 件 在 考 处 成 立 ， 
《c) 求 出 8 的 范围 ,使 二 阶 充分 条 忻 在 至 处 成 立 。 
11. 在 (NP) 中 , 设 z*E5. 关 gg,h 连 毕 可 微 且 
本 1 ET) :jE Jlzr') 线性 无 关 (8,60) 
则 (KTCQ) 和 (MFCQ) 都 成 立 . (提示: 参 腿 引 理 8. 9 的 证 明 及 引 理 8. 10 的 证 
明 .》 
12, 考虑 问题 


minf (x) 十 alz 一 如 | 
ZE 


其 中 wzz0veER 本 和 尼 给 定 , 证 明 , 若 子 为 可 徽 凸 函 数 , 则 a 为 这 问题 的 解 的 充 
要 条 件 是 
. lf 
(提示 ;可 考 处 吗 数 | 一 ol 在 a 处 的 次 梯度 . ) 
13. 考虑 问题 
(IP) . min fr) 
gt gz j=1le 1p 
设 f,g 连续 可 微 . 记 
$= {rE Rg lr) EO0j = 1,,p} 
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对 I*E31 记 x")==J1U, 其 中 
MA E J118j 是 止 函数 
YjE€ dz 不 是 凹 函数 
再 设 
Vgi(rI' JAd 0 ED 
[Cg oc 有希 2 eR 
对 Y dE Z(tz'), 其 中 
Zl7°) = {dVg (rd SO EE Jr’ )} 
定义 
x(D) = zx" + ta + ad) 
其 中 >>0 为 参数 . 则 显然 
zf0) = zz", xX(0) =ad+ad 
证 明 ,(i) 存在 se 一 efe)2>0, 使 得 
z(t) CS,tE [0,s] 
(i) 车 x* 是 (于) 的 极 小 点 , 则 
Vf(lr')'d > 0, YdeE Z(r°) 
( 重 )》 车 x" 是 (IP) 的 极 小 点 , 则 其 为 (ITP) 的 K-T 点 . 
14. 给 定 p€E( ,十 cai 和 尽 , 7 一 0 1 求解 
min |lzll, 


st Pazi— a 


i=1 


(8. 61) 


《8. 62) 
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第 九 章 ”对 偶 和 鞍点 


本 章 ,我 们 考虑 如 下 的 问题 ， 
CP) min f(x) 
s.t. gi(T) EEO, J=13°" sp 
rEC 
其 中 CCR", f ,gj 都 是 R 上 的 实 值 函数 . 
与 上 一 章 的 (NP) 相 比 ,这 里 少 了 等 式 约束 上 (x) 二 0; 对 本 章 
的 大 部 分 推导 ,只 要 将 hx) 一 0 化 为 等 价 的 两 个 不 等 式 h(z) 专 0 
和 一 hCx) 扎 0, 然后 将 它们 归并 到 不 等 式 约束 ECz) 魏 0 中 去 ,相应 
的 理论 即 可 产生 . 请 读者 仔细 想 一 想 , 这 种 处 理 方法 对 上 一 章 的 哪 
一 些 理论 不 适用 . 又 ,我 们 这 里 还 加 上 了 xEC 这 一 约 东 ,这样 做 
会 给 研究 或 应 用 带 来 方便 , 例如 , 若 令 
C= {rE Rh(r) 一 0) C9. 1) 
则 (P) 就 成 了 前 章 的 (NP). 
对 于 问题 4P) ,定义 与 之 相连 的 Lagrange 式 如 下 : 


p 
Lxsp)= fz) 十 2 8s(7) 


= f(r) + g(x) 《9. 2) 
其 中 TECynER?* 且 之 0， 
本 意 的 讨论 都 是 与 Lagrange 式 有 关 的 , 第 一 ,二 节 所 涉及 的 
最 优 性 都 是 指 全 局 性 的 . 


§ 9.1 对 偶 理 论 


Ol) 一 inf 了 zyP) 
XEC 
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定义 
{D) max Otp) 
s.t. p20, HE R? 
称 (D) 为 (了 7 的 对 偶 问 题 , 对 应 地 称 (P) 为 原 问题 , 记 (P) 的 最 优 值 
为 v(P), 记 (D) 的 最 优 值 为 w(DD). 确切 地 说 ,它们 分 别 是 目标 函数 
Fe) 和 多 AD 在 各 自 的 可 行 集 上 的 下 确 界 和 上 确 界 . 为 叙述 方便 起 
见 , 我 们 假定 vtP) 为 有 限 值 . 
定理 9. 1( 弱 对 惕 〉 对 任意 对 (P) 可 行 的 zx, 任意 对 (DD) 可 行 
的 有 
f(x) > 0) (9. 3) 
证 设 Tp 分 别 对 {P) 和 (DD) 可行 , 则 
Fz) f(r) 十 mg(z) > infL(z,p) — OC) 
此 即 欲 证 ， 
推论 9.2 vCP) 守 vcD). 
证 在 (9.3) 中 先 固定 zx, 对 0(p) 关 于 记 在 中 求 极 大 ,得 
f(r) 让 max0) = v(D) 


且 然 上 式 对 任 音 对 (P) 可 行 的 zx -都 成 立 ， 对 上 式 的 A(z) 在 可 行 集 
上 取 极 小 , 即 得 结论 . 
定理 9. 3( 强 对 侦 ) 设 CCR 为 凸 集 , 设 f ,gj,j= 二 1,…,r 为 
C 上 的 凸 函 数 , 设 gj,j 二 r 十 1,…, 记 为 线性 函数 . 若 
BT) Of = 1 rg (7) 0, 
j 二 ?十 1;"…, 思 在 riC 上 有 解 ， 
则 vCP)=wtD). 
证 由 于 uCP) 是 人 P) 的 最 优 值 , 故 下 系统 无 解 
Flr) ~ VP) 一 0giz) 扫 0 一 1pzEC (9.5) 
由 (9.4) 利 用 定理 7. 10 即 可 推 得 ,存在 /% 汪 0, 记 之 0,j 二 1,…, 思 ,使 
得 


(9, 4) 


» 
Lf xr) — wvP)]+ Digs) 0 rEC (9.6) 
I=1 
不 失 一 般 性 ,可 在 (9. 6) 中 令 jn 二 1, 这 样 得 到 
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p 
f(x) 十 2 gi(7) >vP},¥Y IEC (9.7) 


从 而 又 推 得 
Oy) = infL(z, 2) 之 vtP) 
于 是 更 有 
v(D) = maxB(p) 之 00 之 WP) 《9, 8) 


ER 
由 上 式 结合 推论 9. 2 知 v(P) 二 wv(D). 证 毕 . 
注 从 上 面 的 证 明 可 以 看 出 ,只 要 有 了 (9.7)? 则 必 成 立 vtP) 
二 w(D). 并 且 此 时 就 可 由 (9. 8) 推 出 
多 AD = maxb(A) (9. 9) 


这 表明 严 是 (D)? 的 解 .于 是 ,我 们 给 出 
定义 9. 4 车 存在 R01:j=1" ; 户 ; 使 得 


户 
flr) + Dg(r) uP ZEC (9. 10) 
j=1 


则 称 疡 = (Ch,… ;6)” 为 问题 (PP) 的 一 个 Kuhn-Tucker 向 量 . 
结合 定理 9. 3 及 其 证 明 ,得 " 
定理 9.5 着 定理 9. 3 的 假设 条 件 成 立 , 则 CP) 有 一 个 Kuhn- 
Tucker 向 量 ; 若 (P) 有 一 个 Kuhn-Tucker 向 量 声 , 则 
zf PP) = vtD) 
县 zz 就 是 (DD) 的 解 . 
注意 ,这 里 的 Kuhn-Tucker 向 量 和 上 一 章 的 Kuhn-Tucker 客 
子 是 两 个 不 同 的 概念 ,下 面 的 定理 表明 此 两 概念 之 间 的 某 种 联系 . 
定理 9.6 设 f,g 在 R" 上 连续 可 微 , 则 
(i) 若 (P) 有 一 个 Kuhn-Tucker 向 量 上 , 且 (P7 有 解 zx* EintC， 
则 
vf(lz')+ Pivar) 一 0 (9. 11) 
ABC =0, j=1,%,p (C9. 12) 
记 宇 0; j= 二 1p (9. 13) 
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邑 z" 是 (P? 的 民 -T 点 , 且 玉 是 与 zx" 相连 带 的 K-T 委 子 ;反之 ， 
(ii) 车 C 为 凸 集 且 f,g 是 C 上 的 凸 函 数 , 且 zx 是 (P) 的 开 -T 
点 , 划 满 足 (9. 11) 一 (9 13) 的 K-T 轿子 太 就 是 (P) 的 Kuhn- 
Tucker 向 量 . 
证 (i)(9,13) 显 然 成 立 .用 f(zx*) 代 若 (9.10) 中 的 vlP) ,得 


p 
jz) + 21NEi(z) fr I VIEC 《9. 14) 
/=1 


在 上 式 中 令 += 二 "得 2 8i(Z* ) 之 0; 执 一 方面 ;由 所 之 0， 
gr ) 和 0,j= 二 1,"…,p, 又 得 Di， Pig 0 综合 知 (9. 12) 成 


立 .利用 (9. 12? 可 将 (9, 14) 改 写 为 
fz) 十 Pris 之 f(x) 十 De"),y rE€EC 
| | (9. 15) 
这 就 表明 z" 为 函数 
. f(r) 十 Sng) (9. 16) 
在 C 上 的 极 小 点 , 又 因为 x* EintC, 对 (9 16) 关 于 zx 在 z" 求 导 ， 


其 梯度 必 为 零 , 故 得 (9. 11)， 
(i) 由 fg 为 凸 且 可 微 , 故 


jz) Be 十 YAFzrz 一 zzEC 
BL) Bi 十 VEC Nr rTIEC,I = lp 
以 卢 乘 以 第 二 式 ,7 一 1 然后 将 所 有 结果 与 第 一 式 一 并 相 加 
后 , 再 利用 (9. 11), 即 得 (9. 15). 然后 利用 (9. 12) 由 (9. 15) 得 
(9.14) ;注意 到 (9, 14) 表 明 z* 为 (P) 的 最 小 点 即 oCP) 二 f(z* )， 
以 wt 也) 代替 (9.14) 中 的 f(x") 便 完成 了 我 们 的 证 明 , 证 毕 . 

下 例 表明 ,着 (P) 没 有 Kuhn-Tucker 向 量 , 强 对 偶 定理 的 结果 
也 可 能 会 成 立 . 

例 9.7 设 xER. 考虑 问题 
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min zx 
8,t. (Tz) :0 
rz€EC=[—1,1] 
易 知 "(P) 一 0. 对 应 的 Lagrange 式 为 
下 (zyAD = T+ KG) 
易 证 此 例 没 有 Kuhn-Tucker 向 重 . 简单 的 计算 表明 
一 让 车 = 二 0 


一 1 
(1) = minL(z,p) 一 1 十 p， 若 0<<P 委 了 


— 1/44, . 车 之 方 


于 是 ,supyzo8(1)= 二 0. 故 v(tP)=v(D), 
上 例 昌 不 满足 定理 9.3 的 条 件 , 但 满足 下 一 个 定理 的 条 件 ， 
定理 9. 8( 强 对 偶 ) 设 CSR" 为 紧 凸 集 , 设 f,g 是 C 上 的 连 
续 的 凸 函 数 . 若 (P) 的 可 行 解 集 非 空 , 即 存在 二 使 得 
8 E00 7 一 1 元 EC (9. 17) 
则 wtP)=v(D). 
证 任意 给 定 o>0, 则 下 系统 无 解 : 
f(x) — oP +a 0 g(x) R00 = 1 pr EC 
(9. 18) 
由 CC 为 紧 集 ,由 上 式 无 解 可 推 及 ,存在 se>>0 使 得 下 系统 无 解 : 
xz) 一 VBP) 十 wa 一 E 委 0 
和 — ej = prEC 
不 然 ; 则 存在 正 数列 {84) ,se 一 0, 使 得 (9.19) 在 ==& 时 有 解 x 
C 为 紧 , 故 {z} 有 收 敏 子 列 ,不 妨 设 x* 一 二 EC. 于 是 在 (9.19) 中 用 
& 代替, 用 zt 代替 工 后 , 令 >co. 由 f,g 的 连续 性 可 推出 去 为 
(9. 18) 之 解 ,得 矛盾 . 
由 (9. 19) 无 解 利用 定理 7. 7( 令 那里 的 m 二 0,p 二 +) 可 知 , 存 在 
所 宇 0;j 二 0,1,""*, 思 ;这 些 数 不 全 为 零 , 使 得 
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《9. 19) 


poLf lz) — v(P) 十 四 十 Dat) > yh >0 


j=l 


: VzEC (9.20) 
: 著 如 = 二 0, 则 用 (9,17) 中 的 地 代入 上 式 便 得 到 矛盾 , 故 >0， 
” ”不妨 在 (9. 20) 中 令 加 二 1, 这 样 得 到 


A 
fn) + oper >uP)— a YrEC (9.21) 


类 (9. 6) 至 C9.8) 的 推导 俐 得 
v(D) SvP)— a (9. 22) 

由 于 a>>0 是 任 给 的 , 故 由 上 式 即 得 v(D) 之 vtP). 由 此 结合 推论 
9.2 即 得 欲 证 . 证 毕 . 

注 (9.21) 中 的 Ai 一般 应 与 < 有 关 , 这 可 从 例 9, 7 中 得 到 验 
和 证, 从 定理 9. 3 和 定理 9.8 中 可 以 看 到 , 强 对 偶 的 成 立 要 求 有 一 定 的 
凸 性 假设 , 关于 这 两 个 定理 在 广义 分 式 规 划 方 面 的 推广 ,可 参见 文 
献 [18j. 


$9.2 鞍点 理论 


容易 看 出 ， 


ft )， i ) 0,7 = 1 
max fr) 十 六 wen = | 27) S05 ? 


pe 网 和 1 十 ce, 其 它 情况 
于 是 就 有 
. min maxL (zp) = v(P) 
特别 地 , 若 (P) 有 人 解 二, 则 
maxL(z,p) = min maxL (rsp) = vtP) 《9. 23) 


aE AR 
又 ,车 (P) 有 一 个 Kuhn-Tucker 向 最 Am, 则 由 (9. 10) 得 
vtD) = max minL(z, p) 次 minL(z,p) 守 区 PP) 


ER 工 
于 是 又 有 
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v(D) = max minL(z,p) = minL(z,p) (9, 24) 


PE < 
这 是 因为 有 v(tD)==vCP)( 见 定理 9.5), 因 之 ,车 (P) 有 和 解 互 且 有 一 
个 Kuhn-Tucker 向 量 妈 , 则 (9. 23) 和 (9. 24) 中 出 现 的 所 有 景 都 互 
为 相等 
能 够 奢 出 ,对 Y 三 EC,Y PE 和 干 式 平凡 成 立 : 


maxL (2, 1p) 郊 开 (二 ,AD) 六 minL(z, 4) (9, 25) 
pE RN 

从 面 由 上 上段 所 述 及 的 条 件 使 可 推出 
PE AN IEC 

由 此 终于 得 到 


LT pA) SLT EL(TIA YN TECY HE Ri C9.27) 

定义 9.9 车 TEC. KE 使 得 (9.27) 成 立 , 则 称 (到 ,为 (P) 
的 一 个 Lagrange 式 的 鞍点 ， 

由 上 面 的 分 析 立 得 

定理 9. 10 若 (P) 有 解 未 且 有 一 个 Kuhn-Tucker 向 量 产 则 
(三; 六 就 是 全) 的 一 个 Lagrange 式 的 鞍点 . 

注 ”可 以 仿 (9.14) 至 (9.15) 之 间 的 论述 证 明 这 个 定理 ,但 上 
面 的 推导 有 普遍 的 意义 ， 

定理 9.11 若 ( 生 ,1) 为 (P) 的 Lagrange 式 的 著 点 ,出 去 为 (P) 
的 解 且 产 为 (P) 的 一 个 Kuhn-Tucker 向 量 . 

证 具体 写 出 (9.27) 式 为 


p Fp 
f EI 十 DENG) fT) 十 D8) 
了 一 1 /=1 


p 
所 f(z) 十 DJ PaiCz) 


YrEC, YHERY (9.28) 
由 上 之 第 一 个 不 等 式 得 


py (pp — pgAT) EEO, YAE RS (9. 29) 


i=1 


由 于 对 任 一 个 joy 取 训 二 记 yj 关 joy pp 二 pa 十 1 代 人 上 式 得 
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全 (元 ) 安 0, 从 而 就 有 
BZ) EO, j= lp 
电容 明 不 对 (P) 可 行 ;又 ,在 (9. 29) 中 先 令 记 一 0,j 二 1,"…,p, 得 
Wg) 这 0 复 令 证 一 2 一 1 加, 得 De (2) 
< 0, 综合 得 
Dam) =0 《9. 30) 
利用 (9. 30) , 9. 28) 中 的 第 二 个 不 等 式 变 为 
fz) 十 Digs) fH YrIEC (9. 31) 


若 z 对 (P) 可 行 , 则 由 (9. 31) 得 f(x) 之 fC), 这 表明 云 为 (P) 之 
解 ;此 时 , (9. 31) 显 然 表 明 产 为 (了 ) 的 Kuhn-Tucker 向 重 ., 证 毕 . 

定理 9.10 和 定理 9, 11 一 起 表明 , (去 ,请 为 (P) 的 Lagrange 式 
喜 点 的 充 要 条 件 为 , 工 为 (P) 之 解 且 上 为 (P) 的 Kuhn-Tucker 向 
重 . 这 类 结果 有 的 书 上 也 称 为 不 可 微 规划 ( 即 对 所 涉及 的 函数 的 可 
. 微 性 不 作 要 求 ) 的 最 优 性 条 件 . 

在 本 节余 下 的 部 分 ,我们 恒 设 f,gE€EC'. 结合 定理 9. 6(ii) 和 定 
理 9.10 可 知 , 若 f,g 是 凸 集 C 上 的 唔 函数 , 且 开 是 (P) 的 K-T 点 
其 连带 的 K-T 乘 子 为 x, 则 这 些 条 件 便 蕴 含 着 (z,A) 是 (P) 的 一 个 
Lagrange 式 和 鞍点 ,由 此 可 以 看 出 这 种 蔓 含 关系 要 有 一 定 的 凸 性 假 
设 . 现在 ,我们 来 给 出 这 种 关系 成 立 的 充 要 条 件 . 让 我 们 先 复习 一 
下 有 关 概 念 . 注意 ,以 下 一 般 不 要 求 C 为 目 集 . 

设 C 为 开 集 ,考虑 


户 
Vf + DVEr) 一 0 
. j=1 


HB = 0 = 1,,p 
BTX) 0 一 1 起 
和 之 0 一 1 四 
EC 
设 祭 ,请 为 (9. 32) 的 解 , 则 称 三 为 (P) 的 KK-T 点 . 


(9. 32) 
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设 C 为 开 集 ,再 考虑 
广 
myF(z) 十 >7mVSiCz) 一 0 
i=1 


BCT) 一 0,7 = 了 “pp 


Bi(T) EOI 一 1",p (9. 33) 
Pe TT 
(mA 天 0 
TEC 


若 ( 云 ,mA 为 (9. 33)7 的 解 , 则 称 元 为 (P) 的 Fritz Jonn 点 ， 
再 考 处 
p Pp 
f2) 十 Dg EE FE) 十 Dogz) 


四 
Ef 十 Sg), 
i=1 


中 EC ,YAE RS (9. 34) 
设 (9.34) 的 解 为 (这, ECXR4, 则 称 ( 邢 , 放 为 (P) 的 Lagrange 式 
的 壕 点 ， 
最 后 考虑 


p p 
ACE) 十 Da DEE) 十 pgs(z) 
i=1 j=] 


p 
ER) + Daz), 


YEC YAE RE 《9, 35) 
设 (9. 35) 的 解 为 (3,josp) ECX RXR 且 (jw; A) 关 0, 则 称 
(ps) 为 (P} 的 Fritz John 式 鞍点 . 
记 ， 
Wxre; (9. 32) 的 解 ( 去 ,A 的 全 体 ; 
Wkrsp: (9. 34) 的 解 ( 到 ,所 的 全 体 ; 
fw: (9. 33) 的 解 ( 丈 ,mA 的 全 体 # 
Wnmsp: (9. 35) 的 解 人 (元 ,m 的 全 体 - 
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注 K-T 点 和 Fritz John 点 的 定义 要 求 C 为 开 集 ;但 这 里 的 
Wr 和 Wes 的 定义 并 不 要 求 C 为 开 集 . 
接 下 来 ,我 们 提出 条 件 (K)， 
(K) 存在 7Y:CXXR", 使 得 只 要 zEC 及 元 EX 就 有 
人 — f(z) — Vf(F) WTF) 之 0 9. 36) 
BEiz) 一 TVETITN LE) D0, € J(E) ' 
其 中 
X= {rECgAT EOI = 1,",p) 
J = JE) = {js8(F) = 0,7 = 1 ,p} 
注意 , 若 f,g 都 是 是 集 C 上 的 凸 函 数 , 则 在 (9, 36) 中 置 7= 
7 一 了 区; 即 知 (K) 成 立 . 
定理 9. 12 “〈K) 成 立 的 充 要 条 件 为 
War SS Wysp (9. 37) 
证 ”必要 性 的 证 明 留 给 读者 . 下 证 充分 性 . 任意 取 定 TEC 及 
苑 和 和 ,用 81(T) 表 由 {gj(z)}jezm 组 成 的 列 向 量 ;用 YYg/(Z) 表 由 
{Vez) jevrz 作 为 列 所 组 成 的 矩阵 . 将 下 面 的 式 子 


_ pad _ Wh — f(z) , zs = MTF) 
VY EF)T Er) 
(9. 38) 
代入 以 下 的 两 个 式 子 中 ; 
4zr 扫 ec 有 解 守 (9. 39) 
ATy 一 0cTry< 0 之 0D 有 解 ? 《9. 40) 


Gale 定理 (定理 7. 9) 说 , (9. 39) 和 (9. 40? 恰 有 一 成 立 . 容易 看 出 ， 
(9. 39) 成 立 便 是 条 件 ( 开 7) 成立. 于 是 以 于 只 须 证 在 条 件 (9. 37) 下 
《9. 40) 不 成 立 . 用 反 证 法 ， 

设 ?一 (5 ) 为 (9.40) 的 解 ,其 中 己 为 由 { 二 jeram 组 成 的 向 
量 . 由 (9, 40) 中 的 ?六 0 及 cy<0 得 (名 名) 天 0 且 ( 扣 6) 之 05 再 结 
合 (9. 40) 中 的 A7y=0 知 (到 ,5&5) EWrp( 其 中 二 (名,… ,各 :在 
jEJ 时 取 台 为 上 中 的 对 应 的 元 ,在 j 信 J 时 取 名 二 0). 从 而 由 条 
件 (9. 37) 成 立 推出 (元 ,名 , 乓 后 本 pr， 从 而 (9. 35) 的 第 二 个 不 等 式 
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对 (mA 一 (6 6) 成 立 . 但 这 又 与 (9. 40) 中 的 cry< 0 矛盾 , 从 而 
(9, 40) 不 成 立 , 证 毕 。 
:定理 9.13 车 (P) 的 每 一 个 Fritz John 点 都 是 它 的 K-T 点 ， 
则 (多) 成 立 的 充 要 条 件 为 
三 km SS Wikrsp 《9. 41) 
注 车 C 为 开 集 , 则 上 两 定理 中 的 包含 关系 都 可 以 改 为 等 
号 .例如 ,可 参见 定理 9. 6(i) 和 定理 9.11 的 证 明 . 
关于 定理 9 13 的 推广 和 应 用 可 参见 文献 [19] ,与 之 有 关 的 一 
些 结果 可 参见 文献 [7,14]. 


§ 9.3 Lagrange 式 的 局 部 凸 化 


本 节 , 我 们 便 设 AgsEC: 且 C 为 开 集 . 设 云 是 (P}) 的 K-T 点 ， 
其 相连 带 的 K-T 乘 子 为 六 即 ( 过 ,凡是 (9. 32) 的 解 . 由 于 gj(z) 志 


0y 7 一 1，… "ps 故 ug® < 0 PE 如 所 以 ， 


f(z) 十 ae 委 FGz) 十 Dia YE RE 


这 样 ,《9. 34) 的 第 一 个 不 等 式 平凡 成 立 . 为 使 (=, &) 为 《P) 的 
Lagrange 式 较 点 ;问题 的 焦点 成 为 寻找 条 件 使 得 


pp p 
f(D) + Dgi(t fF) + Dig(i yuEC 
2=1 了 一 上 


(9, 42) 


或 
了 (zy LE YIEC 《9. 43) 


注意 到 (9. 32) 的 第 一 式 为 VL(z,1) 二 0, 使 (9. 43) 成 立 的 一 个 充 
分 条 件 为 工 (zy 和 关于 在 C 上 是 凸 的 ( 补 设 C 的 凸 集 ) ,这 个 条 
件 等 价 于 VL(z, 思 在 C 上 为 半 正 定 . 若 (P) 不 是 凸 规划 ,直接 考 
察 VL(r, yp) 的 半 正 定性 会 有 所 困难 . 如一 步 考 虑 , 若 
YaL(E,p) 为 正定 , 则 依 f，,g 的 二 次 连续 可 微 性 即 推 得 
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V2.L(z; 有 在 三 的 某 个 邻 域内 为 正定 ,从 而 结合 V -Lz,p 二 0 即 


知 (9.43) 局 部 成 立 , 即 存在 e>0, 使 得 
Llz,p) 之 A rE C 门 Oz,e) 


(9. 44) 


通过 对 一 般 的 规划 问题 (P) 进 行 等 价 变换 ,得 一 个 新 间 题 的 
Lagrange 式 上 (zx, ,同时 元 仍 是 新 问题 的 K-T 点; 设 与 之 相连 带 
的 K-T 箭 子 为 疡 我 们 能 够 证 明 , 若 (P) 在 未 处 的 某 种 二 阶 最 优 性 
充分 条 件 成 立 , 则 立 2. 忆 (过 ,为 正定 . 将 达 (z,p 视 为 (P) 的 新 的 
Lagrange 式 , 这 样 便 完成 了 对 (P) 的 Lagrange 式 的 局 部 同化 . 


今 考虑 非 线性 规划 
(P) min f(x) 
st, g(r)E0,j=1,"" fp 
IEC 

对 EC,AE RK, 记 
(元 ) = {jg (FT) = 0,7= 1,*,p} 
fz) = {jp > 90, € T(z))} 

办 

VLEL) = VIF) 十 DVEgAR) 


fl 


户 
VEL(E NR) 一 VF) 十 DWV’gCz) 
Z(¥) = {d € Rr. Va(z) Td = 0,7€ fz)} 
容易 看 出 ,(P)7 等 价 于 
(PE ) min f(x) 
s.t. exp[ag:(z) SE1,j=1,"",p 
XEC 
其 中 a>>0 为 参数 . (P' ) 的 Lagrange 式 为 


p 
Lrysi) = fr) 十 Dt{exp[Lagj(z)] 一 1) 
j=l 
今 计算 得 
. 让 
Vb = vf)+ 2 braV gi(E) "exp[og,(z)] 


pp 
A A 2 LaV gi (F) "expLosg (xz) 


(C9. 45) 


《9. 46) 


(9. 47) 


《9. 48) 
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p 
十 2 hirexp[ag(z)]"e Vv gz) Vg(z)r (9,49) 
今 定 义 六 = (高,… ,如 )7( 它 与 a 有关) 为 


i. [2 寺 € J(z) (9. 50) 
" 0, 若 了 在 CE) 
由 (9. 48) 和 (9. 49) 结 合 (9. 46) ,注意 到 
expLag;(3)] 一 1 7 € J(z) 
得 
YA = VA) 十 Nh vp) 《9,. 51) 


i=1 


p 
VLE = Vf E+ ORV’g(z) 


+a* DEV EE Vez)r 
™ pp 
= VL(E, A) +a: ZV ET) Vz) C9. 52) 
定理 9. 14 对 于 问题 (P), 设 (z,&) 是 (9. 32) 的 解 , 且 由 
(9. 46) 定 义 的 LE,p) 在 (二 ) 上 为 正定 , 则 对 由 (9. 47) 定 义 的 
上 (zx ,1 以 及 由 (9. 50) 定 义 的 上 有 名:(z ,1) 二 0; 并 且 存 在 m0 
使 得 对 Y a 之 ao， V2.L(T; 凡 为 正定 . 
证 由 (到 ,A 满 足 (9 32) ,对 照 (9, 51) 和 (9. 45) 即 得 
VEE =0 
下 证 第 二 个 结论 ,用 反 证 法 , 设 结论 不 成 立 ; 即 存在 单调 上 升 
的 正 数列 {awj ,a 下 十 oo ,存在 {4*) 守 R",dt 关 0, 合 得 
CIA 
此 即 ,利用 (9. 52)， 
(dT VLELz d+ om: 六 大 yeara < 0 (9.53) 


在 上 式 中 ， 不 芒 设 la | 一 1 及 d'>q, 于 是 G 天 0. 再 在 上 式 中 令 一 
Vez)Td = 0,7 € J(E) 
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这 样 就 有 


QEZ(z) 且 2 天 0 (9. 54) 
另 一 方面 ,由 (9. 53) 直 接 推出 (do7 立 2 工 (到 ,Pdt<c0, 从 而 
dV,d 0 (C9, 55) 


(9. 55) 和 (9.54) 一 起 表明 VL(z,p) 在 Z2(z) 上 不 是 正定 的 ,这 与 
原 设 矛盾 . 证 毕 . 
关于 局 部 鞍点 和 局 部 凸 化 的 进一步 的 结果 可 参见 文献 [22]. 


习 题 
1. 考虑 问题 
(P) min (z+ (zx2)? 
9.t. TI 十 Xo 这 4 " 
Tira 0 
求解 (P) 和 CD). 
2. 对 于 如 下 的 线性 规划 
(LP) min cz> 
8.t. Ar2b 
TE0 
建立 它 的 对 偶 问 题 和 对 情理 论 ( 要 求 利用 本 章 的 结果 ). 
3. 考虑 问题 
‘P) min f(x) 
Bt. 8XIEDOIES 
IEC 


其 中 v 为 无 限 集 . 这 种 规划 称 为 半 无 限 规划 , 设 C 为 紧 西 集 ,f,gj, jE.J 都 是 
C 上 的 连续 上 晤 函数 . 试 将 定理 9. 8 推广 到 这 里 的 问题 . (提示 ,对 每 一 个 jEJ， 
定义 集合 

Di= {ECHT) — vpP) i asd,g(r) 0} 
其 中 a>0 为 给 定 ,v(P) 为 (P) 的 最 优 值 . 这 表明 门 jey 卫 二 21 由 于 每 个 全 都 
是 紧 集 ,可 利用 有 限 交 人 性质 找到 J 的 一 个 有 限 不 空 的 子 集 ,使得 站 jey T= 
2.) . 
4. 构造 一 个 规划 (P) ,使 得 v(P) 和 (CD) 都 有 限 . 且 有 wv(P)>>wCD). 此 时 
我 们 说 (P) 和 (D) 之 间 有 一 个 对 侦 间 了 车， 
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5. 设 8(z,y) :CXD-*R, 则 对 EC 和 YED 
PE EIDE YY rECYIED 
成 立 的 充 要 象 件 是 
max ming(r,y) = #$(F,y) = min max$(z,y) 
6. 对 于 问题 
《IP} min f(x) 
g.t, gCT)EO,I—=1, ep 
考 虚 它 的 Wolfe 式 对 候 ， 
(WD) max fy}+ er 
jal 


如 
gt, VD) 十 PIVEAND =0 
j=] 


, 上 次 0 一 1 
(9) 试 给 出 (IP) 和 (WD) 之 间 轮 对 偶 成 立 的 充 要 和 条件 
(ii) 设 两 规划 之 何 的 弱 对 偶 成 立 . 若 tIP) 有 解 且 在 某 个 解 z* 处 某 个 约 
东 品 性 成 立 ,; 则 WD) 亦 有 解 且 两 规划 的 最 优 值 相同 . 
7. 证 明定 理 9.12 中 的 必要 性 . 
8. 证 明定 理 9, 13; (提示 :应 对 “ 若 (P) 的 每 一 个 Fritz John 点 都 是 它 的 玫 - 
T 点 ”这 句 话 作 精 网 的 理解 .) 
9. 对 于 问题 
min 一 (z 十 177 人 一 工 ? 
s.t, ZEO 
xzEC= {xER:TT1} 
(i) 证 明 它 对 于 Lagrange 式 L(xz ,1) 设 有 远 点 ， 
(ii) 对 于 Lagrange 式 上 (zx,10, 揽 一 个 m>>0 必 得 Y a 之 oo, 它 都 有 远 点 并 
指出 这 鞍点 : 
(i) 对 全 ?中 的 任 一 个 鞍点 (未 ,各 ,证 明 庆 是 原 问 题 的 解 . 
10. 对 于 分 式 规 划 
(FP) mm fir)/dtz) 
- St, gCXIEOI=1" pp ， 
ztEC 
其 中 Q(z)>0,Y EC. 设 其 最 优 值 ztFP) 为 有 限 . 对 FP) 定义 它 的 
Lagrange 式 如 下 
“136， 


» 
Lizsp) = fn/dlz) + DpgiCr)/d(r) sr E CE Rs 
j=1 


利用 工 (zx, 如 建立 分 式 规划 的 对 佣 理 论 和 闭 点 理论 . 
(提示 :可 从 下 系统 无 解 
fOr) ~ vAFPAE) OBA EOj=1 prEC 
出 发 ,在 一 定 的 凸 性 设 定 下 进行 推导 .) 
11- 研究 玉 ' 中 如 下 的 问题 
min cos zl 十 coszy 十 coszs 
S.tf， 工 ] 十 2z 十 xz 一 所 
9 0 
验证 在 它 的 任 一 极 小 点 处 ,定理 9. 14 中 的 结论 不 成 立 . 此 例 表 明定 理 9, 14 中 
的 条 件 “YV&L{E, 所 在 Z() 上 为 正定 "中 的 “正定 "不 能 减弱 为 “ 半 正 定 ”. 
12. 利用 $7.5 的 结果 对 39.1 所 定义 的 函数 9Cp) (其 中 uE R") 的 次 梯 
度 进行 研究 . 再 证 明 , 若 在 8Cp0) 的 定义 式 中 取 C= RR, 取 了 为 带 有 正定 阵 Q 
的 二 次 隐 数 , 取 g 为 线性 函数 , 则 8(y) 是 可 微 的 ,同时 写 出 六 9(p) 的 表达 式 . 
13. 设 BE R"*" 且 B 关 0 及 y&€ R* 为 给 定 ,考虑 极 大 化 问题 
Py, max 97 Bx 
s.t. | Bzl,=1, xER" 
以 及 极 小 化 问题 
(Q), min éll, 
s.t, BT'é~B'iy, EER” 
其 中 ,4>>] 且 方 十 二 一 1 亦 为 给 定 ， 试 证 这 两 个 同 题 都 有 最 优 解 且 它 们 的 最 
优 值 相 同 ; 对 后 一 结论 作 几 何 解 才 .( 注 : 这 个 结论 对 b 一 1 和 一 十 co, 或 对 户 
二 十 oo 和 g= 二 1 的 情况 亦 成 立 . ) 
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第 十 章 ”基本 的 下 降 法 


应 该 指出 ,利用 前 两 章 所 述 的 最 优 性 条 件 一 般 只 能 求解 低 维 
空间 中 的 较为 简单 的 问题 . 因此 ,构造 求解 非 线性 规划 问题 的 算法 
就 成 为 重要 的 了 . 这 个 内 容 通 常 称 为 最 优化 方法 ， 

构造 算法 的 一 个 简单 想法 是 :对 min 了 (z), 先 构造 一 个 映射 


4:5->S, 再 寻找 一 个 初始 点 z*E5, 利 用 刀 作 挝 代 +! 二 A(zx')， 
k= 二 0,1,2，*…，, 使 得 {f(z)} 为 单调 下 降序 列 . 故 称 这 种 算法 为 下 降 
算法 . 也 即 | 

算法 10.0 

步 0 找 一 个 XES,k:= 二 0; 

步 1 xit! 二 A(zx)s 

步 2 车 fxttD) 之 fCzt); 停 ;否则 ;一 k 十 1, 返 步 1 
于 是 ,立即 会 出 现下 面 三 个 问题 ,它们 构成 最 优化 的 主要 内 容 . 

(i) 如 何 构造 英 射 4; 

(i 如 果 算 法 10. 0 在 第 让步 停 于 步 2,x* 能 提供 什么 信息 ;又 
| 若 算 法 产生 一 个 无 穷 点 列 {z!} , 它 的 极限 点 (< 如果 有 的 话 ) 能 提供 
什么 信息 , 这 问题 称 为 收 敏 性 

(二) 如 果 {z*} 收 化 到 某 点 x* ;收敛 的 巡 度 和 如何, 用 什么 尺度 
来 衡量 . 

第 十 ,十 一 章 讨论 无 约束 最 优化 ,第 十 二 .十 三 章 讨 论 约 东 最 
优化 . 


$10.1 全 局 收 敏 性 
为 使 讨论 的 问题 更 其 一 般 性 ,我 们 先 定义 概念 ,然后 将 算法 
10. 0 加 以 推广 . 从 而 讨论 推广 了 的 算法 具备 何 种 条 件 可 确保 收敛 
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性 . 本 节 的 结果 适用 于 约束 和 无 约束 最 优化 . 

定义 10.1 设 ITCR 是 一 个 解 集合 , 设 4 是 一 个 点 到 集 的 映 
射 ; 玉 -> 了 ( 久 ,了 性 R'), 设 ww 是 一 个 已 知 的 记 ( 或 了 UY) 中 的 实 值 
连续 函数 ,说 关于 栈 和 A 是 下 降 的 , 若 

(DY zeT,YV yEAC(z), 有 wy) wlr)s 

《让 Y zET,Y yE A(x) ,有 wly)SEw(r)., 

例 10.2 minz’,s,t. TER 

定义 荆 = {0},A(z)==[ 一 |x|/2,1z|1/2j, 取 ww 二 (zx)*. 容易 检 
证 凤 关 于 卫 和 4 是 下 降 的 ， 

算法 10. 3 下降 算 著 ) 

设 了 ,4 如 定义 10.1, 其 中 凌志 7. 

步 0 任 取 xEX,k:= 二 0 

步 1 任 取 兴 TE ACzx); 

步 2 若 zfED 停 5 否则 有 :一 上 1, 返 步 1， 

将 算法 10. 3 用 于 例 10, 2 以 及 那里 的 了 ,4. 容易 看 出 ,或 有 某 
_ 个 环 =0, 或 算法 给 出 无 穷 序列 {zt), 且 地 一 0. 这 就 是 算法 的 收敛 
性 .下面 定 义 的 收敛 性 其 涵义 更 广 . 

定义 10. 4 设 算法 10. 3 产生 了 一 个 无 穷 序列 {zx}, 车 {z'} 有 
一 个 豪 点 属于 本 , 即 存 在 {x*) 的 一 个 收敛 子 列 1z5} 满 是 下 "EE 
了 , 则 说 算法 10, 3 是 全 局 收敛 的 . 

研究 算法 10, 3 的 收 敏 性 对 于 构造 各 种 具体 的 算法 及 其 收 化 性 
的 证 明 具 有 普遍 的 指导 意义 .算法 的 收 仑 与 否 与 峡 射 4 的 性 质 密 
切 相 关 . 于 是 就 有 

定义 10.5 设 XEP 权 ,了 CR ,说 点 到 集 的 映射 4;X—> 了 在 x 
EX 处 是 闭 的 ,如 果 由 

(1) EX, Tx 

Gi) YE ACH) ,yy, 
可 以 推出 yEA(z). 久 ,着 4 在 藉 上 的 任 一 点 处 都 是 闭 的 , 则 称 4 
在 入 上 是 闭 的 

特别 地 , 若 A4:R" 一 R 是 连续 实 值 函 数 , 则 由 定义 10. 5,4 显然 
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是 闭 的 . 故 闭 映射 可 以 君 成 是 连续 函数 的 推广 , 

有 了 以 上 的 准备 ,我 们 可 以 给 出 

定义 10. 6( 全 局 收 敏 性 定理 ) 设 解 集合 卫 为 预先 给 定 , 设 
有 :XX>Y(YCXCR") 是 点 到 集 的 映射 , 设 算法 10. 3 产生 一 个 无 穷 
点 列 {24}. 车 

(GD 存在 一 个 立 上 的 连续 实 值 孙 数 w, 它 关于 六 和 有 妇 是 下 降 
的 ; 

(ii) 存在 一 个 紧 集 S 入 叉 , 使 得 {x*} 刁 5; 

(ii) 映射 4 在 XNWn 上 是 闭 的 ， 

则 算法 10. 3 是 全 局 收 伊 的 ， 

证 设 {zx} 是 {x 个 的 一 个 子 列 , 汪 一 +x". 由 算法 知 {w(x*)) 是 
单调 下 降 的 , 且 由 串 的 连续 性 知 w( 太 ) 一 az) 一 oo. 从 而 亦 有 
wr) rw rT" ) 下 CC， 

下 证 z* ET 车 "多 T, 先 由 {zt1}CS 及 5S 为 紧 知 {x4+!} 有 
一 个 收 钱 的 子 列 {x0+!1}, 设 其 收 化 于 去, 同时 显然 有 x 人 /> 工 . 
由 x0H1EA(z0) 及 4 在 zx' 姓 为 闭 的 条 件 ( 闸 ), 得 二 EACzx'). 
于 是 由 四 关于 4 和 站 为 下 降 得 到 w(3) 过 wlx'). 另 一 方面 ,由 上 
一 段 的 陈述 知 必 有 ww(FE) = 二 w(x"'). 这 个 矛盾 便 说 明了 x" ET. 证 
毕 . 

再 考察 例 10. 2 中 的 有 ,4,w, 易 知 定理 10. 6 中 的 条 件 全 满足 ， 
故 算法 10. 3 用 之 必 收 敏 . 由 定理 10. 6 的 证 明 可 以 看 出 映射 4 为 闭 
的 重要 性 ,因此 有 必要 对 它们 作 进 一 步 研究 . 

定义 10.7 设 A;XX 一 了 ,B:Y 一 2 都 是 点 到 集 的 映射 . (其 中 
久 ,Y,Z 可 以 视 为 不 同 空间 中 的 子 集 ) 合 成 联 射 C 一 了 B4:X 一 2 定 
义 为 CCz) 一 B(4(z)) 一 YB). 

合成 映射 可 用 图 10. 1 示 之 , 它 是 复合 函数 的 概念 的 推广 .下 一 
定理 给 出 复合 映射 为 团 的 一 些 充分 条 件 . 

定理 10.8 设 4;X-7,B:7 一 2 是 点 到 集 的 映射 . 假定 A 在 
x 处 是 闭 的 ,再 假定 BB 在 A(x) 上 是 闭 的 且 车 x 一 x+,yEACz), 则 
{} 有 一 收 伍 的 于 序列 ,那么 合成 映射 C=BA 在 x+ 处 是 闭 的 . 
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证 设 友 7, 玉 区 天 , 友 扎 
Cn ,wz 我 们 来 证 zECCz)， 

由 EClz 二 BA(z'), 可 选 
出 YE A(x') 使 得 EB(Y). 据 
假定 , {y} 有 子 列 站 一 y, 由 有 在 
了 处 为 闭 知 yE A(x), 再 由 B 在 
4(z) 上 闭 ( 自 然 在 点 y 亦 闭 ) 推 得 
z€ Bl(y)CB(AC(N) =C(r). 证 
毕 ， 


钢 10.1 


推论 10.9 设 A: 了 了 ,BY->2Z 是 点 到 集 的 映射 .如果 4 在 
工 处 是 闲 的 ,B 在 A(z) 上 闭 的 且 Y 是 紧 的 , 则 C=BA 在 xz 处 是 闭 
的 . 
推论 10. 10 设 A:X 了 是 点 到 点 的 映射 ,B. 了 >Z 是 点 到 集 
的 映射 . 如 果 4 在 xz 处 连续 且 B 在 A(x) 处 为 闭 , 则 C=BA 在 xz 
处 是 闭 的 ， 
最 后 简单 提 一 下 收敛 速度 的 概念 ， 
定义 10.,11 设 { 妈 } 为 收 敏 点 列 , zz 
(1) 车 存在 gq 及 N, 使 得 只 要 A> ,就 有 
[Ee | (10. 1) 
则 称 {x*} 为 p 次 收 合 , 或 称 收 第 的 阶 为 请 
《ii) 特别 地 ,车 在 (10.1) 中 有 p= 二 1 且 gq 过 1; 则 称 {z*} 为 线性 
收 钱 ;在 (C10,1) 中 车 p==2, 则 称 {zx} 为 二 次 收敛. 
( 道 ) 车 对 Y 9>>0, 存 在 N= 二 NN (g) ,使 得 只 要 人 > N 就 有 
Ee | < | (10. 2) 
则 称 {z*} 为 超 线 性 收敛 . 
超 线性 收 敏 的 一 个 等 价 的 定义 为 
lim supjlz 一 zl 过 一 z1=0 《10, 3) 
由 定义 即 知 ; 
次 收 合 (p 之 1) 过 超 线 性 收 人 争夺 线性 收 侣 . 
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$10.2 一 维 最 优化 


本 节 研 究 如 何 守 找 定义 在 某 直 线 或 菜 线段 或 某 射 线 上 的 函数 
的 极 小 点 . 此 称 为 一 维 最 优化 ,或 称 线 搜索 . 


1. Fibonacci 法 和 黄金 分 割 法 


Fibonacci 法 和 黄金 分 割 法 适用 于 单 峰 函 数 , 单 峰 函 数 定义 如 

下 . 
定义 10. 12 设 Fo) 是 定义 在 [a,5] 上 的 函数 . 称 4Ko) 为 [a,6] 

上 的 下 单 峰 函数 , 若 

(i) 存在 we Efa,5], 使 

Ve)— min 

(i 对 任意 的 a yo 且 a 过 a 过 
qm 全 5 ,下面 两 个 关系 式 成 立 : 

wa An) > Fe) 
a a araapb a a” aORm) < Hao) 

设 Ho) 为 [a,5] 上 的 下 单 峰 函 
数 , 为 寻找 a , 取 yay:a 志 和 二 
<<b. 由 定义 10. 12 知 , 若 Fa) 之 Hm), 则 a Ea,bj]; 否 则 就 有 a* 
E [aoz]j, 这 就 是 说 ,计算 区 向 中 两 个 相 蜡 的 点 的 函 孝 值 便 可 将 搜 
索 区 间 缩 小 . 设 ga) 志 gxas) ,于 是 选 留 [a,asj. 为 对 [Leo 重复 以 
上 过 程 ,注意 到 mcE (ayay) 及 9m) 为 已 知 , 故 只 须 在 (a,ow) 中 选 一 
个 异 于 四 的 点 即 可 , 这 样 重复 下 去 可 以 找到 a’ 的 一 个 近似 . 容易 
看 出 ,按照 这 种 思想 构造 的 算法 依赖 于 取 点 的 某 种 法 则 . 

由 于 实际 计算 的 过 恕 不 可 能 无 限 的 , 故 预 先 规定 选 点 的 总 数 
不 超过 ”个 . 那么 最 初 的 搜索 区 间 的 长 度 和 最 终 竺 下 的 区 间 长 度 
之 比 , 可 以 作为 取 点 好 坏 的 标准 ,这 个 值 趟 大 便 说 明 取 点 的 方式 趟 
好 . 换 一 种 说 法 就 是 ; 设 元 是 这 样 的 初始 区 间 的 长 度 ,使 得 存在 一 
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图 10.2 下 单 峰 丙 数 fa) 


种 取 点 方式 , 取 盖 个 点 后 能 把 工 .缩短 到 1; 最 优 取 点 的 方式 应 使 工 
为 最 大 . 
如 上 定义 的 荆 , 组 成 一 个 集合 {L,}. 我 们 来 看 它 的 上 确 界 应 满 
足 什 么 条 件 . 设 {Li} 的 上 确 界 为 已 ,一 0,1，… 和 由 于 不 取 点 或 只 
取 一 点 无 法 进行 比较 , 故 
Fu=F=]1 (10. 4) 
令 二 5 一 a. 设 最 初 的 两 个 取 点 为 @,@y:a 达 w 过 mw 呈 5. 那么 
余下 还 可 以 取 n 一 2 个 点 - 极 小 点 a 的 位 置 只 有 两 种 可 能 ,或 a € 
[a,a1j;, 或 ae“ 所 [eisbj, 车 为 前 者 ,那么 余下 还 可 以 取 7 一 2 个 点 ;从 
而 
a— a FF, , 
著 为 后 者 ,出 除了 余下 可 取 的 ?一 2 个 点 外 ,还 有 om 和 Ca,6), 故 实 
际 上 等 于 可 取 * 一 1 个 点 ,从 而 还 有 
b—a RF 
将 上 述 两 式 相 如 得 到 
， 二, 一 六 一 如 委 下 十 下 1 
由 元 . (Ze} 的 任意 性 可 知 


FFs Fi 《10. 5) 
事实 上 极 易 证 明 
Fi=F, s+! (n> 2) (10. 6) 
定义 10. 13 按 递 推 关 系 式 (10, 4) 和 (10. 6) 所 得 的 数列 称 为 
Fibonacci 数 ， 


下 面 给 出 最 初 的 几 个 Fibonacci 数 ， 


由 前 面 的 结论 可 以 看 出 , 取 满 足 Fy 之 (5 一 a)/e 的 入 ,经 过 NN 
次 取 点 后 ,最 终 的 区 间 长 度 不 超过 于 是 有 

算法 10. 14(Fibonacci 法 》 

设 ga) 是 [ab 上 的 下 单 峰 函 数 . 预先 给 定 允许 误差 e> 0 和 
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能 分 别 出 函 数值 的 最 小 的 2>0. 
步 0 求 使 请 守 ( 必 一 a)/s 的 最 小 的 ny 记 为 NN; 
步 1 此 ;二 ,并 按 下 两 式 计算 [4,5 的 两 个 内 点 ， 
F,_ 


由 一 十 外地 一 0 1 (10. 7) 
Fi 
“=at+ 6 ~ a) (10. 8) 
二 


步 2 &; 一 上 一 11 

步 3 若 民 o) 之 民 a) 则 4 一 Wu: 一 和 + 当 KE<<2 时 , 停 ; 当 k>2 
时 ，, 按 《10. 8) 计 算 wj 当 下 一 2 时 ，, 置 w 一 w 十 G, 转 步 2. 否则 ,5; 二 a.， 
91 一 甸 ; 当 此 < 之 2 时 , 停 ; 当 尼 >2 时 , 按 (0. ?7) 计 算 w# 当 上 一 2 时 , 宣 
包 一 必 一 人 转 步 2. 

现在 ,我 们 来 计算 FF_1/F 的 极限 . 令 


Fe aF。1 王 BF,_I 一 aF,-2) 《10. 9) 
F,— BF! = a(F, 一 PR ) (10.10) 
a+h=1,a:8=—1 (10. 11) 


则 Fibonacci 数 之 定义 式 (10.6) 与 (10, 9) 一 (10. 11) 是 等 价 的 . 注 
意 到 琴 = 下 二 1 以 及 利用 (10. 11), 易 由 (10.9) 和 (10. 10) 递 推 得 


F—aF, =P (0D) = (10. 12) 
F,— Bhi=a (ll— A=" (10. 13) 
将 上 两 式 相 减 得 
_Foe 
Fi 一 B a 《10， 14) 


再 由 (10. 11) 解 得 a 二 (1 一 V5)/2,8= 二 (1 十 VY5)/2, 代 入 
(10. 14) 得 


.= 万 [| 起 


{i= V5 
2 


# 十 1 
| (nn 之 0) 


{10, 15) 
最 后 ,由 (10.15) 叉 得 
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在 (10.8) 式 和 (10.7) 式 中 分 别 以 rt 和 1 一 代替 FF_,/F; 和 
忆 _s/Fis 将 该 算法 稍 加 改动 便 得 黄金 分 割 法 ， 
算法 10. 15( 黄 金 分 割 法 ) 
设 wa) 为 [ae,b 上 的 下 单 峰 函数 , 取 定 容许 误差 >0. 
步 1 用 下 列 公 式 计 算 试探 点 
m=a+ (ll— nb— a) (10. 16) 
二 a 十 TT6 一 a) 《10. 17) 
步 2 若 JHKo) 宝 9Kq0); 则 5; 二 oa: 二 ms 并 由 (10.16) 计 算 新 
点 mi; 否则,a: 一 wm: 一 %， 并 由 (10. 17? 计 算 新 点 3 
步 3 车 5 一 a 过 se, 停 ;否则 转 步 2 
在 具体 使 用 公式 (10.16) 和 (10. 17) 时 ,我 们 常常 取 r 的 近似 
值 0. 618. 对 应 的 方法 亦 称 为 0. 618 法 . 因为 黄金 分 割 法 (或 0. 618 
法 ) 实 际 上 是 每 次 将 区 间 长 度 用 比例 因子 r( 或 0. 618) 去 缩短 之 . 
所 以 可 以 断言 这 个 算法 的 收 敏 速度 不 会 优 于 线性 伍 速 , 方法 的 好 
处 是 此 法 简单 且 适 用 范围 广 . 


2, 多 项 式 壕 近 法 


上 一 段 的 方法 是 在 每 一 步 将 8 的 两 个 函数 值 作 比 较 . 我 们 希 
望 能 够 较 充 分 地 利用 函数 所 给 的 信息 ,从 而 构造 更 为 有 效 的 方法 ， 
这 导致 了 多 项 式 通 近 法 . 

三 点 二 次 插值 

车 已 知 [a,8] 上 的 连续 函数 Ka) 在 三 点 as,ws,w 的 函数 值 分 别 
为 多 ,名 ;: 加 - 我 们 通过 点 CG) Cos) (ww, 各) 做 二 次 播 佣 多 项 
式 多 0). 然后 用 Fa) 的 极 小 点 总 近 似 地 作为 gl 中 的 极 小 点 , 这 是 
三 点 二 次 插值 的 基本 有 思想， 

为 保证 二 次 式 g(a) 有 极 小 点 ,条 件 “a 之 和 之 %, 久 之 Rp 二 多 
且 后 两 不 等 式 的 等 号 不 能 同时 成 立 ”" 是 充分 条 件 , 这 样 的 Ca ,9)， 
Ca) ,Ca 外 ) 称 为 一 个 三 点 模型 . 利用 Lagrange 揪 值 公式 于 这 
三 点 得 
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gla) 一 2 Eg (10. 18) 


ji 
令 9'(a) 二 0, 从 而 解 得 dE (om 03): 
a—=1L(%) — Co) pt [ey (oa) jg [LC )’ — (a)’ jp 
2 C0 一 和) 台 十 (一 向) 多 十 Cm 一 2) 入 

(10. 19) 
为 作 进 一 步 的 秋 代 ,应 该 在 Coa,9) fa 由) (os 的 ?以 及 新 点 
《 妆 , gC 人) 这 四 点 中 选 出 一 个 新 的 三 点 模型 来 , 新 的 三 点 模型 应 包 
括 新 点 ,并 能 使 区 间 [a ,oj 缩短 . 如 果 在 这 四 点 中 找 不 出 一 个 新 
的 三 点 模型 来 (比如 说 ,恰好 有 6 一 o), 则 应 先 将 和 在 (oo) 中 进 


行 摄 动 得 人 EC (yam)，, 使 得 可 从 (全 ,PC 各))，(a sp) (ass) 以 及 
《03; 久 ) 中 选 出 一 个 新 三 点 模型 来 . 
二 点 三 次 插值 
车 已 知 [a,5] 上 的 连续 函数 中) 在 al, 处 的 函数 值 为 9.,& 和 
导数 值 人 ,8 和 则 可 以 作 一 个 三 次 多 项 式 
Ho) = om a ea a)’ cla — mm) 
《10. 20) 
其 中 ,系数 coycsczoscs 可 从 下 面 的 线性 方程 组 中 解 出 : 
角 二 pa) 一 co 
二 p' (a) 三 如 
我 = pg) 一 co 十 cf(os — a) ca — oa) + et 一 如 和 
= Y' {8) = 0 2eslas — @) 十 3cs(a — ey)* 
. (10. 217 
为 了 使 约 罗 在 (ao) 中 有 一 个 极 小 点 ,条 件 “m<<wyWi<0 且 
多 >0" 是 一 个 充分 条 件 , 在 此 条 件 下 ,对 由 (10. 21) 定 义 的 (10. 20) 
作 详 细 的 推导 ,可 以 解 出 8a) 的 极 小 点 &E (a oz) 为 
) Pi 二 Ws CO— ta 
Ps 


二 Dar, (10, 22) 


= (Ga 


其 中 
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w= G7 gi — 3p — /lo OO— a) 
wz 一 [Cu)? 一 1 pe’ 

新 的 点 & 就 近似 地 帮 作 pla) 的 极 小 点 .余下 的 做 法 和 三 点 二 次 插 
背 法 是 类 似 的 . 故 从 略 ， 

收敛 性 

一 般 认 为 ,只 知道 函数 值 以 用 三 点 二 次 揪 值 为 宜 . 如 果 还 能 利 
用 导数 值 则 以 二 点 三 次 插值 为 宜 . 更 高 次 的 代数 插值 会 使 计算 来 
得 复杂 . 如 果 已 知 所 给 的 函数 在 初始 区 间 [a,5] 上 是 下 单 峰 的 并 且 
是 可 导 的 , 则 能 够 证 明 这 两 种 方法 都 是 收 化 的 , 在 一 般 的 情况 下 ， 
要 对 算法 作 一 些 修 改 , 使 得 修改 后 的 算法 具 全 局 收 合 性 . 全 局 收 化 
性 定理 可 为 修改 作 参 考 . 在 这 方面 已 有 大 重工 作 , 可 参看 有 关 的 书 
籍 ,例如 文献 [113 和 [23]. 

收 钱 速度 

已 经 证 明 , 三 点 二 次 播 值 法 的 收 化 阶 为 1. 3, 二 点 三 次 插值 法 
的 收 襄 阶 为 2. 证 明 的 方法 是 先 对 (10. 19).(10. 22) 作 详细 的 分 析 
《假定 we) 足够 光滑 ), 从 而 得 出 一 个 差分 方程 ,然后 对 此 差分 方 
程 求解 以 获得 收敛 的 阶 , 下 面 ,我 们 介绍 一 种 简单 的 (然而 是 粗粮 
的 ) 收 化 阶 的 估计 方法 . 用 它 可 以 对 任意 构造 的 插值 多 项 式 法 预先 
进行 收 敏 速度 的 估计 . 以 二 点 三 次 播 值 为 例 , 先 注意 到 在 (10, 22) 
中 按 选 代 法 ,可 分 别 视 m yo :全 为 04-1 30 a+ 

首先 ,由 插值 多 项 式 理论 , 设 8EC', 则 有 


4) 
Fa) = Ps(a) 十 安生 人 — oie oy) (10,23) 


其 中 上 在 am-rw 之 间 ,Pifa) 一 人 oo 如 (10. 20) 《10.21) 所 定义 . 
设 为 go) 的 极 小 点 , 则 g' Ca*)=0. 对 (10.23) 先 关于 a 求 
导 , 热 后 将 a* 民 人 得 到 


4) 
Ps (a" ) 一 和 0 {Cm —a’ a—a’ D+ Ca a om—a’ )*} 


4] 了 
+[ | 《es 一任 ” :Ca 1 一 二 和 (10, 24) 


又 , 按 插值 求 极 小 的 方法 有 了 ati) 二 0. 在 (10. 24) 中 记 
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0 
并 假定 [Gg (6)je* 和 [C8)] 是 有 界 的 ,还 要 假定 | | 过 |8_i| 
《注意 ,这 些 都 是 通常 证 明 中 的 假定 ); 则 当 {m) 与 a* 充分 接近 时 ， 
由 (10, 24) 近 似 地 得 到 


P(r) — Pa) =—— a, 《10.25) 
对 (10. 25) 左 端 利用 一 次 中 值 定理 ,有 
Ps (Ws 一 一 edt, (10. 26) 
其 中 sr 一 w+ 一 o :加 在 ri 与 a 之 间 . 


最 后 ， 当 1 ds ;Qt1 充 分 接近 于 a" 时 ,我 们 得 到 
Eri = Me， {10, 27) 


其 中 M= 一 十 #?Ge')/Ya*)，。 
令 六 =In{ M51} ,i 二 8 一 11,& 十 1, 由 (10. 27) 得 如 下 的 
差分 方程 ， 


2 一 锥 十 2 1 《10. 28) 
它 的 特征 方程 为 
22—2A—2=0 (10. 29) 
上 方程 的 最 大 正 根 为 2, 故 应 有 
Yitl — ZY 0 oo C10. 30) 
由 (10. 30) 立 即 可 推 得 欲 证 之 式 
le = [es 一 -1 (10. 31) 


§10.3 R 中 的 最 优化 


今 考虑 要 中 的 无 约束 最 优化 问题 min f(z). 设 已 给 定 x*ER 
了 
且 工 非 该 问题 的 解 . 如 何 找 一 个 x'E R", 使 得 f(z) 之 F(z? 一 个 
自然 的 想法 是 从 zx" 处 找 一 个 下 降 方 向 2, 即 这 样 的 4? ,使 得 对 充 
分 小 的 o>0 恒 有 
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(rz 十 zt) < fr) 《10. 32) 
为 使 方法 更 有 效 , 应 取 z! 二 x 十 aoq" ,使 得 ao 汪 0 满足 
f(x’ 十 ad'’) = min frag) (10. 33) 
车 记 YO)==f 了 lz 十 ad"), 则 (10. 33) 可 以 描述 为 :寻找 mw 之 0, 使 得 
Pm) —ming(e). 这 就 是 前 节 所 述 的 线 搜 索 . 因此 可 以 说 ,对 给 定 
的 问题 min yz) 和 给 定 的 点 z， 如 何 寻 找 工 处 的 “最 好 的 ”下 降 方 
xE 
向 , 便 是 R" 中 的 最 优化 的 一 个 重要 课题 了 . 
1. 最 速 下降 法 


早 在 1847 年 ,Cauchy 就 注意 到 j(z) 在 zx 处 的 最 速 下 降 方 向 
为 一 f(x), 即 f(z) 的 负 梯 度 方 向 . 这 个 推导 是 很 简单 的 . 设 了 GE 
CC!, 则 
jz 十 ad) = f(x) 十 aVCz)zrd (10. 34) 
注意 到 
Var = | fx) .lal cos (f(z) ,dy 
“ 若 Yf(z) 关 0; 则 4Qd= 一 六 f(z)/Y f(x) 就 是 问题 


min VY flr)d (10. 35) 
al<1 


的 解 . 即 一 六 f(z) 为 f(x) 在 z 处 的 最 如下 降 方 向 . 
算法 10. 16( 最 速 下 降 法 ) 
设 RR,fEC', 
步 0 任 取 初 始点 z*ER",k; 二 0; 
步 ] 计算 祥 rz ,车 了 f(z')==0, 停 . 否则 
步 2 下 := 二 一 Vf(z), 求 4 守 0: 
flz't oad’) =min (十 ac 《10. 36) 
2 请; 二 上 十 1， 返 步 1. 
容易 看 出 ,这 里 的 步 2 就 是 算法 10. 3 的 步 1, 两 愿 对 照 可 知 
| A= 5G (10. 37) 
其 中 G 表 示 定 方向 的 映射 ,5 表示 线 搜索 , 注意 ,满足 (10. 36) 的 a 
可 能 不 止 一 个 . 故 5S 应 理解 为 点 到 集 的 映射 .从 而 4=SG 也 是 点 
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到 集 的 映射 . 
为 证 由 《10, 37) 所 定义 的 映射 4 是 闭 的 ,我 们 有 
定义 10.17 S;R”>R", 其 定义 为 
Str,d) = {y=x+ ad:i 之 0 有 fly) = minf (x + ad)} 
定理 10.18 设 f 在 记 上 连续 且 4d 关 0, 则 SC(z,d) 在 (x,q) 处 
是 闭 的 . 
证 设 z>z,dt 一 d 关 0,y->y,Y 六 ES(Czt,dt), 和 欲 证 


yE Sr,d) 
首先 ,由 并 ESCzd) 知 ,存在 之 0, 使 得 
= ad'sm 0 (10, 38) 
fy) SE Fr + ad) ,a € [0,00) (10. 39) 


由 (10, 38) 得 @ 一 |y 一 ze 一 ly 一 zal 会 0( 由 ad 关 0). 
故 在 (10. 38) 中 令 f=oo 得 


y 二 TT 十 ,之 0 (10. 40) 
再 在 (10. 39) 中 国定 a, 令 xoo 得 
fy fr + ad) ,a € [0, 十 co) (10, 41) 


上 式 宸 明 yES(z,d), 证 毕 . 

现在 ,我们 可 以 给 出 

定理 10. 19( 最 速 下 降 法 的 收 敏 性 ) 设 f:R" 一 R,fEC', 若 算 
法 10.16 终 止 于 某 x*, 风 了 f(x)==0, 又 若 算法 产生 一 个 无 穷 点 列 
{zz }) 且 {zx} 有 界 , 则 fx} 的 任 一 聚 点 到 都 满足 Vf(z) = 二 0. 

证 前 一 部 分 已 由 算法 保证 . 故 只 须 证 后 一 部 分 . 

首先 ,定义 解 集 合 

T= {rE FRV) =0) 
定义 
G:R" ~ RY,G(r) = (x, 一 了 Cr) 
SR”— RS = Sr, — VAT)) 

由 G 是 连续 的 点 到 点 的 映射 ,S 在 点 (z: 一 VCz))CVYCz) 天 0) 
处 是 闭 的 ,由 推论 10. 10 知 4=SGC 在 丁 外 是 闭 的 ， 
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其 次 ,对 x 人 多 厂 , 即 六 f(x) 关 0, 对 小 的 a 汪 0 有 
fx —avflr)) = f(r) — allv fa + 0 < fz) 


(10. 42) 


故 取 下 降 函 数 (关于 如 上 定义 的 和 和 4) 为 wlr)== 了 (x)， 

利用 全 局 收 敏 性 定理 (定理 10. 6) 可 知 结论 为 真 . 证 毕 ， 

一 般 地 说 ,利用 8 10. 2 提供 的 线 搜索 法 求 出 (全 局 ) 极 小 点 是 
不 可 能 的 也 是 不 经 济 的 . 这 就 导致 了 下 面 的 

定理 10. 20 下 面 的 三 种 线 搜索 (其 中 第 二 种 要 求 4 隐 0) 在 
(zsd) 处 都 是 闭 的 ,其 中 ,Rr 一 R 为 连续 ， 


类 型 I 取 定 5>0， 


Sz,d) = {y=z+adfly) = min flr + ad)} 
Oa 


类 型 I 取 定 ED0， 


zi = {y= z+ aod:f(ly) i min flx + ad) + e) 


类 型 下 取 定 >0,6>0， 


Srd) = {y=r+adf(y) 所 min, f(z 二 ag) 二 e} 


类 型 I 表明 极 小 问题 总 限定 
在 区 间 [0,6] 上 ,而 不 是 在 半 直 线 
[0,co) 上 . 类 型 表明 求 极 小 值 时 
可 以 允许 一 个 误差 .类 型 下 是 前 两 
者 的 结合 .征明 方法 与 定理 10. 18 
的 证 明 类 似 . 

顾 名 起 义 , 最 速 下 降 法 应 该 是 
一 种 很 好 的 方法 ,其 实 不 然 . 由 


ES f(z + od) | = 0 
得 
Vf + ad07d 
=— Vf(e TV fr) = 0 
这 表明 由 最 速 下 降 法 产生 的 两 个 


XD 
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相 邻 的 方向 是 互相 垂直 的 . 参照 图 10. 3 可 知 , 量 速 下 峰 法 在 求解 问 
题 的 最 初 几 步 的 进程 比较 快 ,到 了 后 来 就 起 来 越 慢 . 有 例 表明 它 的 
收敛 速度 只 能 是 线性 的 (参见 习题 6). 
定理 10. 21 设 f:R*>R 在 开 止 集 Do 上 二 次 连续 可 微 , 设 存 
在 MM 之 m>0, 使 得 在 Do 上 有 
md: < dav:f (rd Ma ydER (10.43) 
再 设 给 定 的 初始 点 zx" 使 得 水 平 集 
Xo = {zz ER fz) EF) ES D, (10. 44) 
且 汪 有 界 .车 最 速 下 降 法 (算法 10.16) 产 生 无 穷 点 列 {z} ,出 
(i) zt-wz ,有 目 工 为 min f(z) 的 唯一 的 全 局 极 小 点 : 
《ii 成立 着 以 下 的 收 敏 速度 估计 
zc oc + oo C10. 45) 
fz) fOr) ER) — fr )) {10. 46) 
其 中 g=1 一 Gm/M)?<1. 
证 (i) 由 下 降 法 知 {z*} 己 Xo; 由 XX 为 有 界 闭 集 知 {x*} 有 一 
聚 点 在 了 芒 , 中 , 设 为 xz'; 册 定理 10.19 知 Vf(zx*)= 二 0; 由 XXo 守 DD 知 
xz" Do 由 (10.43) 知 了 在 D, 上 为 严格 凸 ; 从 而 V(x" ) 一 0 便 意 
味 着 z' 为 了 在 Do 上 的 唯一 全 局 极 小 点 . 复 由 XX, 夺 Do 知 x' 还 是 了 
在 民 上 的 唯一 全 局 极 小 点 , 由 唯一 性 及 {x*} 和 Xo 的 有 界 性 即 推 得 
LT 
(i) 由 Vfx')=0:x* ED。 及 由 Taylor 公式 ,利用 (10. 43) 
知 ,对 Y zEDo, 有 
lz— zh fr) — fr") < Elz 一 = 上 (10.47) 
另外 ,由 
[TF — TF DWT mr) Ev om | 
对 了 f(x) 一 Vflz* ) 利 用 中 值 定理 ,结合 (10. 43) 得 
lv Fn — zmilz em zk 
此 即 ,对 Y zxE Do 有 
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lz 一 ze< 志 Iv fl (10. 48) 
结合 (10. 47) 右 端 之 不 等 式 和 (10. 48) ,得 到 
Ff - Fiz SVLDPY x € D (10,49) 


又 因为 
fn— f= Vr) (rz) 


+ 六 (Tf ) (r—) 
其 中 GE (0,1), 用 z= 二 z+ 一 a 了 f(x) 代入 上 式 后 再 利用 (10. 43) 右 


端 之 不 等 式 , 得 
Fa 一 ay) -ra 二 all 一 3 yf) 


{10. 50) 
今 在 (10. 50) 左 端 取 “一 w, 在 其 右 端 取 a 二 1/M( 即 关于 a 取 最 
大 ), 不 等 式 依然 威 立 , 故 


ft) 一 Fa Sv C0.51) 
今 在 (10. 49) 中 取 =z 后 ,代入 (10. 51) 之 右 端 得 
f(t) 一 fl) <— Hil ft) ~ fle)) 
从 而 解 得 
fe) — fr YE 0 — Bf — fz°)) 


qcf er) — fr)) (10. 52) 
用 (10. 52) 弟 推 地 得 (10. 46). 
及 由 (10.47) 左 端 之 不 等 式 及 (10, 46) 得 


lr) — fz)) 
EH) — fr' Wg Soig 
此 即 (10. 45), 证 华 . 
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总 之 ,我 们 已 经 比较 系统 地 介绍 了 最 速 下 降 法 . 最 速 下 降 法 虽 
有 缺陷 ,但 通过 对 它 的 研究 可 以 得 到 启迪 ,导致 产生 更 好 的 方法 . 


2. Newton 法 简介 
设 f; 户 一 R,fEC?, 取 定 ER'. 作 了 在 zz 处 的 二 阶 近 似 
f= fa) tI fr) zr) te) Tf) (ex) 
设 卫 f(x) 为 正定 , 则 Cx) 的 极 小 点 即 满足 f(x) 二 0 的 点 , 故 有 
只 Frzo) Vif(r rm x) =0 (10. 53) 
把 (10. 53) 的 解 近 似 地 看 作 A(z) 的 极 小 点 ,得 
z= VF) ITFCzo) 
从 而 构造 迭代 公式 
Ti 一 入 一 Wo YF) (10. 54) 
利用 (10. 54) 求 解 minf(z}) 称 为 简单 Newton 法 ,此 法 也 是 一 
z€E RA” 


种 多 项 式 通 近 法 , 它 是 利用 了 竺 数 在 某 点 的 值 ,导数 值 及 二 阶 导数 
信 (Hesse 阵 ? 的 信息 . 
Newton 法 的 收敛 阶 为 2, 这 一 点 极 易 证 得 ， 
定理 10.22 设 fEC, 设 在 zx" 处 有 Vix')==0,，V f(z") 
非 异 , 则 Newton 法 的 站 敏 阶 为 2 
证 记 
4(z = TC— Vif(r) Vf) 
则 《10. 54) 就 是 
tl = A(zx*) 《10. 55) 
由 条 件 人 tx'}=0 知 x' = 二 ACz'), 从 而 由 上 式 得 
rr ACH) — ACr*) 
一 4(z (zt 一) 
+ (Aa) — 7') 
《10. 56) 
其 中 二 =z 十 8(zT* 一 zT*),0E {0,1). 又 
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A |= I {vf Vf) 
+ Vf I VIA) | 
=0 
故 由 (10, 56) 得 
lzr: 一 xz*| = le — x)TACE) Cr: | 


< FA x 


< Mlz:— z*| (10. 57) 
其 中 由 EC? 知 ||4 (z) 所 2M 对 某 个 M 成 立 , 证 毕 ， 
简单 的 例子 表明 Newton 法 时 某 些 问题 不 收 全 ,从 而 便 产生 
了 如 下 的 修改 型 . 
修改 型 I 取 帮 一 一 V2FCzD)-IVFCz， 取 wm; 


flz 十 od’) = minf (x 十 ad*) (10. 58) 
但 是 YFf(zx*) 可 能 奇异 ,于 是 又 有 
修改 型 下 到 


d=— [sl + Vif Vf (zr) ,ee, > 0. 
其 中 6&1 十 六 ?f(xt) 为 正定 , 且 当 hoo 时 8 一 0. 取 mm; 


fr 十 te) = minf (x 十 ac) (10. 59) 
Newton 法 的 修改 型 和 最 速 下 降 法 可 用 下 面 的 方式 得 到 统一 . 

记 H, 为 n 阶 阵 , 取 _ 
和 一 一 已 Ya) (10. 60a) 


t+1 一 二 od flriti) 一 minf (x 十 ad*) 


《10. 60b) 
在 (10. 60) 中 取 瑟 : 二 1 得 最 速 下 降 法 ;取石 ,二 :f(xt)-! ,或 取 
本 二 [6&1 十 V ?f(z')] ' 得 修改 型 . 
最 后 我 们 指出 ,对 卫 了 z) 隆 0, 为 使 (10. 605) 得 到 的 me+1 满 足 
7z Jr ,简单 的 办 法 是 在 (10, 60a) 中 取 瑟 ; 为 对 称 正定 
阵 , 请 读者 自 证 之 . 
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习 题 
1 证明 推 论 10.9 和 推论 10. 10. 
2 证明 ,如 果 4 是 -一 个 连续 的 点 到 点 的 映射 ,那么 在 全 局 收 敏 性 定理 中 
可 去 掉 假 设 (ii)。 
3. 证 明定 理 10. 20. 
4. 届 < 给 定 且 cE[0,1], 定 义 


F(zsd)= {? 一 z+adi0<e<co， la—alea, f(z+id)=0) 


证 明 , 若 4 了 0 且 丰 /z+ed) 是 连续 的 , 则 下 在 (z,d) 处 是 闭 的 . 


5, 证明, 若 在 C10. 604a) 中 取 下 为 对 称 正定 阵 , 则 车 Ff( 式 ) 关 0, 由 
(10. 60b) 得 到 的 z+! 满 足 f(z 攻关) 
1. 求 档 数 Am sa 一 去 (zi7 十 去 (ro? 的 极 小 点 , 取 初 始点 为 (3,2)7， 
再 利用 最 速 下 人 降 法 进行 计算 ,并 给 出 收 贫 速度 
7, 考 财 修正 的 Newton 法 对 了 EC 的 如 下 的 算法 : 
1 一 2 一 ET Fr) 
其 中 Hi; 为 生 阶 阵 ,o 是 问题 
min Fir: — aH,V f(T)) 
的 一 个 解 . 令 
全 为 下 不作 | 
= (HE Rx", 
H 的 所 有 特征 值 介 于 ab 之 间 
条 五 : 取 自 . 丝 - 中 的 任 -- 元 . 假定 算法 所 产生 的 点 列 { 丸 } 是 有 界 的 ,证 胃 { 怀 } 
的 任 一 带 点 z' 都 满足 V f(x*)= 二 0。 
8. 考虑 另 一 种 修正 算法 ,也 用 于 /EC!， 
rio oaB(r yf) 
其 中 Btx) 是 x 阶 对 称 正定 阵 , 且 它 是 Zz 的 连 暑 函数 ,a 满足 
fm!) 一 minf (x — aBtr I) WV fr)) 
假定 由 这 个 算法 所 产生 的 点 列 {z+} 是 有 界 的 ,证 明 {z*} 的 任 一 聚 点 Zz" 满足 
YIr 一 0 
9. 对 于 min f(z),AE CI 有 人 提出 如 下 的 方法 , 称 为 平行 切线 法 (或 写 为 


EW 
Partan 法 ): 


给 定 ze, 令 器 一 -- 了 Fr0zo) ,向 中 极 小 化 子 得 z4 令 一 一 VC 以 
“1556。 


五 为 出 发 点 , 沿 天极 小 化 子 得 妇 ( 即 二 
x 


步 最 速 下 隆 法 ); 再 邻 J 二 zx? 一 xr( 称 为 
加 速 方向 ), 再 以 x 为 出 发 点 , 沿 吧 根 小 x 上 x 
化 了 得 xz*. 这样 便 完成 了 方法 的 初始 工 -一 
作 . 接 下 去 是 交 玲 她 沿 负 梯度 方向 和 加 总 pr ” 
束 方 向 作 线 搜索 ( 它 的 第 一 步 如 图 10.4 
中 虚线 所 示 }, 线 搜索 的 方向 总 结 如 下 ，; 
d=— Tf, k= 1,2,4,6,." 
d= rl rh 57 


试用 这 个 方法 对 第 6 题 的 问题 向 三 、 五 步 ,大 看 销 果 如 何 . 


10. 4 
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第 十 一 章 ” 共 罗 法 和 拟 Newton 法 


本 章 所 介绍 的 方法 都 可 以 看 作 介 于 最 速 下 降 法 和 Newton 法 
之 间 的 方法 . 一 方面 要 克服 最 速 下 降 法 的 慢 收 化 , 另 一 方面 要 避免 
Newton 法 中 计算 Hesse 阵 的 逆 的 烦恼 , 由 于 二 次 可 微 函数 在 极 小 
点 附近 时 二 次 性 态 ; 因 此 本 章 研 究 问题 的 出 发 点 是 导出 的 算法 用 
于 二 次 问题 都 能 在 有 限 步 内 得 解 , 具有 这 个 性 质 的 算法 也 称 其 有 
二 次 终结 性 ， 

所 请 二 次 问题 即 


min f(z) = LzTQr ~ Bri (11.1) 
rERA" 2 
其 中 人 @ 为 n 阶 对 称 正定 阵 ,bE 严 . 


$11.1 共 思 方 向 法 


我 们 从 氢 述 下 面 的 概念 开始 . 
定义 111 设 Q@ 为 n 阶 对 称 正 定 阵 , 设 di,d?€ RR. 车 
(qd)7QA4? 一 0, 册 称 d1,d: 关 于 QQ 是 互 为 共 固 的 . 又 若 di,d?，… 关 
于 @ 两 两 共 罗 e, 则 称 它们 是 一 组 已 共 罗 向 量 . 
令 驴 = 了 7, 则 共 斩 的 概念 化 为 正 交 的 概念 . 因此 ,@ 共 绒 也 称 为 
已 正 交 . 
定理 11. 2 若非 零 向 重 集 A? ,dA (kn 一 1) 是 一 组 慷 共 
元 向 量 , 则 它们 是 线性 无 关 的 ， 
证 设 有 4,1 二 0,1,…,k, 使 得 
dadl 二 十 md 二 0 
分 别 以 C2)7Q ,i 二 0,1,…,k 左 科 上 式 , 得 
oad') TQd = 0,i = 0,1,",k (11. 2) 
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由 驴 为 正定 且 di 关 0,i 二 0,1,.…,, 得 a 二 0. 证 毕 . 

“” 设 给 定 了 对 称 正定 阵 Q 及 个 线性 无 关 的 向 量 . 用 Gram- 
Schmidt 正 交 化 方法 于 这 万 个 向 量 , 从 而 得 到 一 组 @ 共 元 向 量 .在 
习题 中 ,我 们 给 出 求 @ 共 恩 身 量 的 两 种 方法 . 

设 已 给 定 坟 个 非 零 的 已 共 纯 向 量 好 ,dd 求解 二 次 问 
题 (11. 1) 的 共 轿 方向 法 可 描述 如 下 ;任意 给 定 xz", 在 x" 十 ad* 上 求 
的 极 小 得 z+! ;再 在 xz! 十 ad? 上 求 让 的 极 小 得 x?，… ,最 后 ,在 x! 
十 ac :上 求 了 的 极 小 得 z", zr" 便 是 (11. 1) 的 解 . 


例 11.3 设 
2 1 


:五 一 
1 


Q= | 
出 
f(z) = TQz = (11)’ + Tix + 2Cx2)? 
易 知 它 的 极 小 点 为 
立 ” 一 (0,0)7 
- 选 二 个 包 共 罗 向 量 
a 一 (1,0) ,di 一 《一 1,2)7 
取 zz 二 (2, 一 3)7, 则 
fz + ad) = 2+ +O) +2: (3 
易 解 得 wm 三 一 1/2, 从 而 了 = 十 ad 一 (372 ,一 3)73 同 理 得 w 一 
312, 以 及 妇 一 z 十 wd 一 (0,0)7, (参见 图 11. 1.) 
下 面 对 方 法 进行 分 析 . 设 @ 为 对 称 正定 , 取 定 z:,AtER", 则 
f(z 十 ad) = es + ad TQ + od) — BC + adt) 
(11. 3) 
为 求 极 小 , 令 
0 = Ef + adt) = (dQ 十 aa — pra (11.4) 


解 上 式 得 


dQ (ad) 
二 (dt) QA 本 (dTQd: 《11. 5) 
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困 11. 1 


其 中 
gs =Qr—b= Vi) (11. 6) 
注意 ,在 但 为 对 称 正定 时 ,x" 为 何 题 (11.1) 的 解 的 充 要 条 件 
是 Vf(z*)= 二 0. 即 
Qz' =b (11.7) 
记 束 为 由 四, 人 :生成 的 子 空间 . 记 癌 十 球 为 这 样 的 
集合 , 它 的 每 一 个 元 恰 为 如 和 BB 中 某 元 之 和 (zr* 十 Bi 也 称 为 线性 
流 形 ). 下 一 个 定理 刻 划 了 共 恩 方向 法 的 本 质 ， 
定理 11. 4( 扩 张 子 空间 定理 ) 设 忆 为 n 踢 对 称 正定 阵 , 设 
d",d!1,"…d*! 为 一 组 非 零 的 @ 共 因 向 量 , 任 沉 取 定 xz*E 属 , 则 按 
照 


Tt d= 0l," yn 1 (11. 8) 
其 中 
人 {11, 9) 
所 产生 的 序列 有 这 样 的 性 质 :x* 使 得 
f(z) — FxQr ~ br (11. 10) 


弃 在 直线 z 一 zf :十 ad I( 一 co<a< 十 co) 上 取 全 局 极 小 ,又 在 线 
性 流 形 x 十 B; 上 取 全 局 极 小 . 
证 前 一 部 分 由 了 的 构造 和 算法 保证 ,下 证 后 一 部 分 . 


ss 160° 


注意 到 z' 十 B, 是 R" 中 的 凸 集 且 PKz) 是 其 上 的 西 函 数 , 于 是 

只 要 证 ,对 Y GE z? 十 五 , 都 有 
Vf ro t= (g(r) 之 0 
(可 参见 推论 8. 4). 再 注意 到 对 Y xE€x' 十 B 也 有 xz 一 z+E Bi, 故 内 
须 证 
(gd =0,1=0,1,..…,k—1 (11.11) 

.就 足够 了 . 用 归纳 法 ， 
首先 ,由 线 搜索 知 , 对 i 二 0,1,…,k 一 1 有 


0= Ef(z + od) | = Vf + ad)rd 
也 即 
《87 和 一 0 二 01 光一 工 (11.12) 
故人 11. 11) 对 二 1 是 成 立 的 . 
设 (11. 11) 成 立 , 类 (11.122, 先 有 


(DT 一 0 (11.13) 
又 ,由 
Ttl 一 xh ord’ 
结合 (11, 6) 即 推 得 
8 = p+ oid 《11. 14) 


以 di 二 0,1, 尼 一 1 与 之 作 内 积 得 
(pt) 一 (gd + altd) Qa ,ih (1.15) 
由 归纳 法 之 (11, 11) 成 立 知 上 式 右 之 第 一 项 为 零 ,其 第 二 项 由 共 轰 
性 知 亦 为 零 . 故 结合 (11. 13) 和 (11. 15) 得 
(gtI)TH, = 0,1, .0 n 
此 即 欲 证， 
让 定理 11.4 和 它 的 证 明 可 得 两 个 重要 推论 . 
推论 11.5 共 堪 方向 法 用 于 二 次 问题 (11. 17? 所 产生 的 兰 清 
网 . 
(gi)'d' = 0,i=0,1, ,EC— 1 (11. 16) 
推论 11. 6{ 共 固 方 向 法 的 二 次 终结 性 质 ) ” 共 思 方 向 法 用 于 相 
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应 的 二 次 问题 (11. 1) ,至 多 在 nx 次 得 解 . 

证 者 对 某 &<n 有 8g 二 六 fz) 二 0, 则 x 为 问题 (11.1) 的 
解 . 否则 ,由 推论 11. 5 知 (er)7d 一 0 一 0 1 一 1 但 如 do， 
d ”线性 无 关 , 故 久 一 VC) 一 0. 证 毕 . 

对 于 已 给 的 % 阶 对 称 正定 阵 , 可 以 用 不 同 的 方法 产生 (不 同 
的 )Q 共 轧 向 量 ,从 而 导致 不 同 的 共 示 方向 法 . 由 此 ,构造 Q@ 共 思 
方向 的 问题 便 显得 重要 了 . 但 构造 对 于 二 次 问题 具有 良好 性 质 的 
方法 仅仅 是 研究 问题 的 开始 (二 次 问题 总 比较 易于 求解 ). 重要 的 
是 将 所 得 的 方法 推广 到 用 于 一 般 非 二 次 问题 时 也 有 某 些 较 好 的 性 
质 ,例如 比 最速 下 降 法 有 所 改进 ,这 是 另 一 个 重要 的 课题 . 这 两 个 
问题 归根 结 底 仍 然 是 寻找 理想 的 搜索 方向 ,这 是 本 章 余下 部 分 的 
内 容 ， 


$11.2 共 斩 襟 度 法 


与 前 面 所 述 的 共 斩 方 向 法 不 同 , 共 丁 梯度 法 不 是 一 次 便 指定 
了 zt 个 @ 共 思 向 量 ,而 是 在 算法 的 迭代 过 程 中 逐次 利用 梯度 的 信 
息 来 构造 共 罗 向 量 组 . 因此 ,可 以 期 望 这 种 方法 可 以 兼 有 共 久 方 法 
和 梯度 方法 的 优点 . 

共 琶 梯度 法 描述 如 下 :任意 取 定 初始 点 x*€ER", 取 d= 一 g? 
二 5 一 Qx". 按 下 述 公 式 进行 沈 代 . 


HH wd (11. 17a) 

其 中 
& =— (d) pt/ (A) Qa (11. 17b) 

以 及 
dt Oo pti pd: 《11. 18a) 

其 中 
| Bi = (g++ )TQd (di) QA (11. 18b) 


下 面 的 定理 给 出 了 共 罗 梯 度 法 用 于 二 次 问题 的 一 些 较 好 的 性 
质 ,其 中 [gr,g'，… og+] 表 由 {881,…,8 直 生成 的 子 空间 ,等 等 
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定理 11.7( 共 槐 梯度 定理 ) ” 共 固 梯度 法 (11.17)、(11.18) 是 
一 种 共 思 方向 法 . 如 果 在 zx' 处 没有 结束 ( 即 jt 二 f(z*) 隆 0), 那 
么 
(1) Lg’ ,8 LA ,8*j= [g’,Qg’,*: ,0 gj; 
Gi) [dsd ,d= Lg, Qe, pg']; 
(i) (Cd) Qa =0,i<hs 
(iv) 的 一 (TAO 人 
(vy) P= Cet) gt / (ge, 
证 ”如果 在 x* 处 未 结束 , 则 g' 隆 0,i 寺 kd' 尖 9,ish. 
我 们 先 用 归纳 法 同时 证 (一 (这 ), 对 = 二 0, 显 然 它们 都 是 真 
的 . 今 假定 (让 一 (十 ) 对 所 成立 , 先 由 表达 式 g' 一 Qx' 一 b 以 及 由 式 
(11. 17a) 得 1 
gt = pg + md (11. 19) 
由 归纳 法 假定 ,根据 (和 全 ) 知 g*,QAE [Lg',Qg ,tg 从 
而 由 (C11, 19) 得 
| pt! € [gg ,Ge+1g9] {11, 20) 
又 由 归纳 法 假定 ,根据 (证) 知 4? ,A ，,…,e 为 有 Q 共 元 向 量 . 故 可 利 
用 (11.16) (注意 g++' 关 0) 得 
gt [dd d= [g ,Qs ,28)] (1.21) 
由 (C11. 20) 式 和 (11, 21) 式 以 及 由 (让 对 训 成 立 的 假定 , 即 推 得 (i) 对 
上 十 1 成 立 ， 
由 (让 对 天 成 立 的 假定 ,又 已 证 Ci) 对 衣 十 1 成 立 ,再 利用 
(11, 18a) 即 推 得 (ii 对 & 十 1 亦 成 立 ， 
为 证 fiii 对 天 十 1 成 立 , 以 @d 对 (11.18a) 作 内 积 得 
(HI7Qd =— (ett)Qqd’ + Pad)'Qd' i E+ 1 
: (11. 22) 
对 i<%, 由 归纳 法 假定 知 上 式 右 端 之 第 二 项 为 零 ; 同 时 
QA € [QQg yn gS [ddly di LE (11.23) 
从 而 由 (11. 16) 知 BriQ 二 0,1 之 总 之 ;对 i<< 有 成 立 着 
(e+t1)TQA' 一 0. 在 i 一 时 ,由 (11. 18) 直 接 计 算得 (d+*1)7Q4t 二 0. 
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这 就 证 明了 《 赴 )， 
将 (11. 18a) 的 上 标 闫 去 1, 然 后 与 gz: 作 内 积 : 
(gd = (— get le) dar! (11.24) 
上 式 右 端 之 第 二 项 为 零 , liv) 得 证 . 
最 后 ,由 (e+*11)7Q' 一 0,i<<k 十 1; 以 及 由 GG) 知 gE [4 ,di， 
"sd ], 故 (Cert)Tg* 二 0. 用 g++! 与 (11,19) 作 内 积 , 得 
(g*T1)TQd= (p+t1)T pt! /a, 
= (d)TQd: (gti)T gt (gt) Tg 
后 一 等 式 是 利用 了 (iv), 将 其 代入 (11. 18b) 得 (v). 证 毕 . 
分 析 上 定理 可 知 , (过 ) 表 明 共 罗 梯 度 法 也 是 一 种 共 思 e 方 向 装 ， 
故 它 也 具有 二 次 终结 性 , iv) 和 Cv) 表明 (11,17a) 和 (11. 18a) 中 的 
和 记 的 计算 可 以 简化 .更 重要 的 是 Bi 的 新 表达 式 为 将 共 思 梯 
度 法 推广 到 用 于 非 二 次 问题 提供 了 方便 (这 点 放 在 节 末 讲 , 注 章 
六 的 新 表达 式 中 形式 上 已 不 合 Q1). 有 趣 的 是 ,利用 (il) 可 以 证 明 
共 辐 梯度 法 用 于 二 次 问题 在 某 种 意义 上 为 最 优 . 
为 此 , 设 


f(z) = 去 rQz — bz 
的 极 小 点 为 x* ,利用 (11.7) 可 得 
fz) = 二 — xz") Q(z zx*)— Cr TOr” 


《11. 25) 


E(x) = 二 — rTQr— zc) (11. 26) 


则 f(x) 和 Elz) 有 相同 的 极 小 点 和 相同 的 梯度 . 

设 给 定 了 初始 点 x* 和 个 忆 共 绒 方 向 , 则 扩张 子 空间 定理 
(定理 11. 4) 告 诉 我 们 ,由 共 固 梯度 法 得 到 的 z+*! 使 ECz) 在 线性 流 
形 zx 十 By 上 取 最 小 .定理 11.7 之 Gi) 告诉 我 们 ,z++! 有 表达 式 

Tt 一 za PQ) a (11. 27) 
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其 中 已, 为 某 个 次 数 不 超 过 上 的 多 项 式 , 又 ,x" 十 Boti 中 的 任 一 元 
也 可 以 由 zz 十 Pi(Q@)g' 表 出 ;反之 , 任 取 一 个 次 数 不 超 过 上 有 的 多 项 
式 五 ;T 十 P(Q)g' 亦 为 zBir 中 的 元 ， 
注意 到 g' 二 Qzx' 一 5 二 Q(z 一 zx), 由 (11.27) 即 得 
Mt r= x PAQQ(r 2) | 
= [T+ QP J — x*) (11. 28) 
将 此 式 代 人 (11. 26) ,得 


E(t+!) 一 让 Ce — xz")"QLT + QP OF — zx") 


《11, 29) 
将 上 面 的 分 析 综 合 起 来 ,我 们 得 到 
定理 11.8 共 固 梯度 法 用 于 二 次 问题 (11.1) 产 生 的 zi+1 满 足 


ECzrD = min 于 (mm — xz")QL + QP Yr 一 二 
《11, 30) 
其 中 极 小 是 对 所 有 次 数 不 超 过 让 的 多 项 式 PP 来 取 的 . 
设 忆 的 特征 值 为 处 :0 过 名 志 守 二 , 其 对 应 的 规范 化 特征 
向 量 为 ei 一 1,2,*… sn. 于 是 可 设 
TO x" be 二 tes 二 二 te 
如 此 就 有 


Ez') = x" YQ — x*) = 1 ey 
i=1 
11, 31) 
利用 相同 的 方法 可 从 (11. 30) 得 到 
ECzi+D 一 min -D3 [1 十 AP 了 了 NE) 


< min max[1 + APICWT 。 了 NE 


= min max[1 + APiCA) 了 « ECz) 


如 此 又 有 
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定理 11.9 在 共 县 梯度 法 中 ,我们 有 
ECxtt) < min max[1 二 AP .ECx) {11.32) 


其 中 极 大 是 对 甸 的 所 有 的 特征 值 来 取 的 ; 极 小 是 对 所 有 的 次 数 不 
超过 上 的 多 项 式 来 取 的 ， 

这 个 定理 的 一 个 简单 的 应 用 见习 题 3. 

以 上 是 对 二 次 问题 来 讨论 的 . 将 共 斩 梯 度 法 略 加 修改 可 得 下 
面 的 FR(Fletcher-Reeves) 方 法 , 它 适 用 于 一 般 非 二 次 问题 . 

算法 11. 10(FR 方法 ) 

设 f Rr*R,fFEC!, 

步 0 任 取 初始 点 xz*E€E Rr", 指 定 一 正 整数 *, 一 般 取 :二 n. 上 :二 
0s 

步 1 令 蛋 = 一 Vflzxt), 若 dt 二 0, 停 ;否则 , 记 

dt = dre = 对 ?二 01 ,5 一 1 

按 如 下 格式 进行 选 代 

Ca) xr toad, 

flirt1) 一 minf (zi 十 ad*'), 
(b) 若 了 Fx ')=0, 停 ;否则 
(c) 除 1=s 一 1] 外 , 今 
人 一 一 了 Ce + Pdr 
其 中 
B= VHT Y/Y Fr)T Vf) 

步 2 zt 二 zx, 夷 ; 一 此 十 1, 返 步 1. 

容易 看 出 ,如果 在 步 0 中 取 ;二 1, 那 么 所 得 的 方法 就 是 最 速 下 
降 法 . FR 方法 的 收 合 性 可 按 最 速 下 降 法 的 收 伍 性 的 证 明 思路 进 
行 证 明 , 将 FR 方法 适当 修改 ,可 得 一 个 二 次 收 化 的 算法 (条 件 与 
定理 10. 21 的 相同 ). 这 里 不 介绍 . 


11.3 拟 Newton 法 的 基本 思想 


我 们 已 经 指出 ,Newton 法 的 一 种 修改 型 为 
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d': =— VIf(x) VF) (11. 33) 
X= rad f(t!) = min 7(z tad) (11.34) 
在 f(r) 关 0 时 ,为 保证 f(z!) 之 f(zt) 希望 久 2FCz) 为 正定 ， 
但 VY :flz*) 有 时 是 奇异 的 域 接近 奇异 的 , 又 ,即使 :fCzxt) 为 正 
定 ,C11. 33) 中 V ?f(x*) 的 计算 也 颇 费 时 , 氢 牛 顿 法 就 是 为 了 克 
服 这 两 个 缺陷 而 设计 的 . 
还 是 从 正定 二 次 问题 着 手 ,为 阅读 和 书写 方便 ,我 们 重新 写 出 
有 关 记 号 . 


f(z) = 记 TQz ~ Hz (11. 35) 

其 中 人 @ 为 n 有 阶 对 称 正定 阵 , 记 
Eg= VIr) = Qr—b 《11. 36) 
= a (11. 37) 


他 二 有 一 本 一 和 (it x) = Qp (11, 38) 
注意 , 求 f(x) 的 极 小 等 价 于 求解 方程 @z==5; 也 可 以 说 等 价 
于 求解 @ …, 设 已 给 定 初始 阵 五。, 设 法 逐次 对 五 ; 作 修 正 : 


Hi = Hi;++ AH, 11. 39) 
由 (11. 38) 的 启示 ,对 任何 上 均 有 六 二 Q"'g, 故 争 望 
Hing = pO0RiCE ‘11. 40) 


如 果 依 照 某 种 和 渤 代 格式 由 (11. 39) 得 到 满足 (11. 40) 的 五 ,, 并 且 
si 一 0;14.*…,n 一 1 是 线性 无 关 的 , 则 比较 (11. 38) 和 (11. 40) 即 得 
五 .一 驴 1 条 件 (11. 40) 称 为 氢 Newton 条 件 . 这 条 件 在 本 章 余 下 
的 两 节 中 起 重要 作用 . 
利用 p,q ,Hi 的 信息 来 修正 瑟 ,, 取 
AH, = AH(p: ,gt,H,) 

使 得 五 :+ 一 五 ,十 AD 总 满足 (11. 40), 利 用 不 同 的 技巧 来 构造 
‘不同 的 )AH,, 从 而 导致 不 同 的 方法 ,这 华 都 是 近 四 十 多 年 来 的 工 
作 . 注意 ,在 拟 Newton 条 件 (11. 40) 中 ,我 们 并 未 考虑 p/ ,gi,i 才 有 
是 如 何 产 生 的 . 但 对 于 二 次 问题 ,或 说 对 于 由 (11. 36) 一 (11. 38) 所 
定义 的 户 ,9 ,它们 洪 足 
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¢ = Qi = 0,1,2. (11. 41) 
例如 ,研究 形 如 
Hiti = Hi rle)T (11, 42) 
的 渤 代 的 可 能 性 .其 中 ER,2ER', 
在 (11. 40) 中 令 i 二 kh 得 


p= Hg = Hig + ri ) - (11.43) 
再 用 gf 与 之 作 内 积 , 得 
(gp — Hg) = 站 [人 (11. 44) 


另 一 方面 ,利用 (11. 43) 还 可 得 
(pi — Hig) (Pp: — Hq) = rt)T or C2) gE 
(11. 45) 
由 (11. 45) 解 得 rsx )”, 代 人 (11. 42), 再 利用 (11. 44) 得 


(p: — Hig) Cp: — Hig) 
Hint A 46) 


当然 要 预 设 (11.46) 中 的 分 母 不 为 零 ， 
接 下 来 ,我 们 证 明 在 (11. 41) 成 立 的 条 件 下 由 (11. 46) 所 定义 
的 五 满足 (11. 40). 用 归纳 法 ， 
首先 ,由 (11. 46) 能 直接 验证 得 
Hing = pp,Yk 
故 (11. 40) 对 有 = 人 0 成 立 . 
假定 对 五 : 有 - 
Hg = pihk—1 
我 们 来 证 (11. 40) 成 立 , 对 ;< 由 (11.46)， 
Hng = Hig + Lp)Tg — (q) HEq] 
其 中 六 ER" 为 某 个 向 量 . 若 5 一 责 ， 即 Hi 为 对 称 阵 (这 里 要 预 
先 取 定 吾 , 为 对 称 阵 , 则 由 (11.46) 就 能 保证 这 一 点 ), 则 由 归纳 法 
假定 有 - 
Hg = P+ yg — (pik 《11.47) 
但 是 ,利用 (11. 41) 有 
(pg = (pT (QP) = (QV)TP' = (9) p 
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故 由 (11. 47) 得 Hirg' 二 户 ,i<<&. 由 此 结合 上 有 段 之 Hing = 六 知 
(11. 40) 成 立 . 

选 代 式 (11.46) 有 两 个 严重 的 问题 :分 母 为 零 怎么 办 ?又 ,即使 
Hi 为 对 称 正定 隆 ,iii 也 可 能 非 正 定 . 然而 ,(11. 46) 作 为 最 早 导 
出 的 这 类 公式 有 其 特定 的 意义 . 因为 那里 的 修改 阵 AH, 的 秩 为 1， 
故 这 方法 也 叫 秩 1 法 . 


了 11.4 DFP 法 和 BFGS 法 


本 节 所 述 的 两 种 方法 是 目前 广 为 流 行 的 无 约束 最 优化 方法 . 
它们 具有 一 些 可 人 意 的 性 质 . 
记 本 1= 丁 二 AH. 仍 从 (11.40) 出 发 , 令 i 二 时 (11. 40) 成 
立 , 得 
(PE + AHNg = p 《11. 48) 
等 价 地 说 ,AH, 应 满足 
| AHig = pp — Hag (11. 49) 


1. DFP 法 (Davidon-Fletcher-Powell) 


依据 C11. 49) ,我 们 设想 


AHi = 其 (iT 一 Ht (YT (11. 50) 
其 中 尺 ,w'E R" 为 两 个 待定 的 向 量 . 如 果 能 取得 w* 和 世 , 使 得 
| (wg = (vg = 1 (11, 51) 


则 由 (11. 50) 所 确定 的 AE 满足 (11.49). 又 ,考虑 到 AH, 最 好 具 
有 对 称 性 ,由 (11. 50) 的 启发 ,最 简单 的 办 法 自然 是 令 
uw = op = PH 《11.52) 
其 中 必 和 BB 为 待定 的 数 . 为 使 由 (11. 52) 式 所 确定 的 iw 和 坟 满 足 
(11. 51), 解 得 
由 一 1 六 70 一 1/(C0)T Hg (11.53) 
依次 利用 (11. 53)、(11, 52) 及 (1t,50), 代 入选 代 式 (11. 39) 得 ， 
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‘pT Hq (gy H, 
Hin 一 五。 十 CN a 
公式 (11, 54) 称 为 DFP 公式 . 它 首 由 Davidon 提出 原型 ,经 
Fletcher 和 Powell 改进 而 成 , 本 节 , 我 们 便 设 互 * 为 对 称 阵 . 
下 面 , 我 们 直接 写 出 由 DFP 公式 所 得 的 算法 ,然后 对 算法 进 
行 讨论 , 这 算法 适用 于 R" 中 一 般 可 微 非 线性 函数 的 极 小 化 问题 ， 
算法 11. 11 (DFP 法 ) 
步 0 任 给 一 初始 对 称 正 定 阵 太 ,( 例 如 五 = 让, 以 及 初始 点 
z'sk: =0; 
步 1 车 Vf(z*)==0, 停 ;否则 ,d*;= 二 一 HiV f(x")， 
步 2 =ad", f(r) =minf (z+ad'), 
六 :一 一， 
d=Vf rt) — Vf (x) 
步 3 利用 (11. 54) 计 算 Hi41,k: 二 十 1, 返 步 1. 
我 们 把 算法 的 基本 性 质 总 结 为 如 下 的 定理 . 
定理 11. 12 在 算法 11. 11 中 , 若 V cz 天 0 且 Hi; 为 正定 , 则 
(i) (oT Hg >0, (pt) Tg 0} 
《i) 有 Hi+1 为 对 称 正定 . 
证 首先 由 步 2 之 线 搜索 知 
VAYTHYV F(z) 一 0 
C0) (qT Ha = VFI HY fr) 
二 YI) HV f(r >0 
(Cp) gS od*) Tg 
=— @v rHLY ft) — VF)] 
二 mF)7THYVf(zt) >> 0( 和 注意 之 0) 
(ay 任 取 x 人 RXx 关 0; 由 (11. 54)， 
rT’ py? Hoey: 


(11. 54) 


THinz = 2 Hx 
定义 
a= Hiizx,b = Hlig 
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则 (11. 55) 可 改写 为 


xzTHinz = ED 0b) | 人 (11. 56) 
上 式 右 之 第 一 项 显然 非 负 , 第 二 项 由 (##)79%>0 知 亦 非 负 . 若 第 一 
项 为 零 , 这 意味 着 x 一 所 对 某 个 8 尖 0 成 立 (注意 ,a 天 0) ,由 了 及 已 
之 定义 得 z= 二 Bq. 于 是 z7p 二 Bg 7p 关 0, 故意 有 zz 
证 毕 ， 
在 上 面 的 证 明 中 ,Cf) "qt:>0 及 tq)THiy 汗 0 是 关键 ,而 这 一 
点 恰 由 线 搜 索 得 以 保证 . 
我 们 还 要 考虑 DFP 算法 对 于 二 次 问题 是 否 满足 拟 Newton 
条 件 .事实 上 它 还 有 更 好 的 性 质 , 这 就 是 
定理 11.13 ”如果 是 具有 正定 Hesse 阵 Q 的 二 次 函数 , 那 
么 ;对 于 DFP 法 成 立 
(pTQP' = Ori Lk C11. 57) 
HnQr' = Hing =— pik (11. 58) 
证 在 k=0 时 ,由 瑟 ,; ;的 构造 (11.54) 知 上 两 式 为 真 , 下 用 归 
” 纳 法 证 明 我 们 的 论断 . 
先 证 (11. 57), 由 (1. 38) 和 (11. 41) 得 
二 gt! 十 (pit? _ Be+1) 十 ……* 十 Cg gl) 
一 ET 二 + 二 ?十 十 gi? 
= gt 十 QP! 二 十 p11) ,< 上 
于 是 可 得 ,对 :< 
(pTg = (pTgtl 十 (pITQEpT 十 …… 十 其 一 0 
上 右 端 之 第 一 项 由 线 搜索 知 为 零 ;第 二 项 ,将 归纳 法 假定 用 于 
《11, 57), 亦 为 零 , 从 而 将 归纳 法 假定 用 于 (11. 58) ,得 
. 0= (pg = [tp) QH, et < (11. 59) 
于 是 ,由 六 二 一 4Hig* 及 mu>0, 由 上 式 得 (pi)"Qp* 一 0,i<<& 故 
(11. 57) 成 立 ， 
由 归纳 法 假定 , (11. 58) 对 大 成 立 , 即 HQp' 一 p' ,i 所 一 1. 于 
是 
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(IT HQPI— pA OP =0iSk—1 (1.60) 
先 直 接 验 算得 Hi.Qp# 二 Hyi9 二 p. 再 ,对 ik 一 1 有 
TQap] HH THQp 
Hi QP 一 Hap 十 A OE Ee 
由 (11, 60) 知 上 两 个 方 括号 内 消失 ,其 右 之 第 一 项 由 归纳 法 知 为 
Gk 一 1). 故 有 Hi QP 一 pi 故 (11.58) 成 立 . 证 毕 . 
(11,57) 说 明 DFP 法 用 于 二 次 问题 是 一 种 共 罗 方向 法 ,因此 
它 具 有 二 次 终结 性 . 有 趣 的 是 ,车 在 算法 11. 11 中 置 及 ,= 了 ,DFP 
法 对 于 二 次 问题 就 是 共 恩 梯度 法 . 
在 适当 的 条 件 下 ,DFP 法 用 于 非 二 次 问题 是 全 局 收敛 的 ,并 
且 具 有 nn 步 二 次 收敛 速度 , 即 设 {z} 为 DFP 法 所 产生 的 无 穷 点 
列 , 且 x 一 z* , 则 在 适当 的 条 件 下 ,存在 ”>0, 使 得 
ler 一 x Rr Co zk = 0,1,2,*° 
这 些 证 明 都 十 分 见长 , 故 略 ， 


2. BFGS 法 (Broyden-Fleteher-Goldfarb-Shanno) 


理论 和 实践 表明 ,DFP 法 是 一 种 非常 有 效 的 无 约束 最 优化 方 
法 ,自从 1959 年 发 表 以 来 , 深 受 欢迎 . 然而 到 了 60 年 代 后 期 ,从 计算 
实践 中 发 现 DFP 法 在 数值 稳定 方面 存在 一 定 问题 ,从 而 人 们 又 提 
出 各 种 各 样 的 修改 算法 . 其 中 被 公认 为 具有 更 好 数值 稳定 性 的 算 
法 万 是 BFGS 潜 ， 
若 在 (11. 50) 中 取 
CT = [1 十 PITHAIED)T /pg 一 BOg)TH, (11.61) 
wT = [1 — Bp gg) H/THG 十 BOpt)™ (11. 62) 
其 中 8 是 一 个 实 参 数 . 直接 验证 可 知 (11. 49) 成 立 . 将 上 两 式 代 人 
到 (11. 50), 再 利用 (11. 39) 得 到 公式 
. (pr Hu (gq)TH, 
Fan= ht+ hy DR 


tq Hg NT pk Try _ 工 


十 有 
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了 
+ -Hg gH, 《11. 63) 


(g) Hg 
车 在 (11. 63) 中 取 fp 一 0 则 得 DFP 法 . 今 取 
B= 1/(p)g 
伐 人 (11. 63) ,得 
Hen = Hat Lp pS) 一 pH 一 Hp)T YP) TH 
. (11. 64a) 
其 中 
和 2 一 1 十 人 《11. 64b) 


(11. 64) 即 BFGS 公式 . 将 它 代 普 算法 11. 11 中 步 3 之 (11, 54) 即 得 
BFGS 算法 , 它 有 与 定理 11, 12 和 定理 11. 13 完 全 一 样 的 结论 , 其 证 
明 亦 相仿 . 读者 均 可 参见 文献 [1]].[2] 或 [23]. 


习 是 


1. 设 信 基 & 阶 对 称 正定 阵 , 设 yy ,y! 是 Re 中 线性 无 关 的 向 量 
组 .证 骨 , 由 Gram-Schmidt 方法 
ad’ 一 y, 


和 
CT 
dat+1 一 3p+1 一 ed 
之 (FITQd 


所 递归 定义 的 ,qd!，,…,d"! 构 成 一 组 非 零 的 QQ 共 皂 向 量 . 
2. 设 f(z) 二 十 xz7Qz 一 57zx, 其 中 己 为 n 阶 对 称 正 定 阵 . 设 5S 和 Si 是 R" 
中 两 个 不 同 的 子 空间 ,z: 和 z? 分 别 为 了 在 $1 和 Ss 上 的 极 小 点 . 证 明 , 对 Y dE€ 
3nss,z 和 必 一 x 是 蛋 共 扼 的 ， 
3, 在 定理 11. 9 的 (11. 32) 中 取 & 一 0, 则 对 任意 实数 “都 有 
E(tzr') 安 ,Ohl 十 oA E(x) {11.65) 
其 中 为 和 丸 分 划 表 日 的 最 小 和 最 大 特征 值 .上 式 实际 上 可 解释 为 将 最 速 下 


降 法 用 于 二 次 问题 f(z)= 广 “@z 一 乡 z 的 一 步 的 效果 的 估计 . 由 此 , 设 {z*} 


为 由 最 速 下 降 法 用 于 二 次 问题 所 产生 的 点 列 , 则 也 有 ， 
E(xzt!) 宝 ee 1 + aAl)IECz:) (11, 66) 
1 
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试 找 出 a 的 最 好 的 值 ,使 得 (11. 66) 右 端 为 最 小 ， 

4. 试 证 FR 方法 的 收 合 性 ， 

5. 证 明 , 若 在 DFP 法 中 取 五 ,二 7, 卓 DFP 著 用 于 二 次 问题 就 是 共生 梯 
度 法 ， 

6. 在 定理 11. 12 之 (i) 的 证 明 中 ,所 采用 的 w 是 使 f( 江 十 ad*) 精 确 地 取 
得 极 小 . 斌 说明 凡 使 (p77 之 0 的 om 都 能 确保 有 H+ 为 正定 . 说明 这 个 结果 的 
意义 ,证 明 对 于 一 个 二 次 问题 , 任 一 个 m% 天 0 都 能 产生 正定 的 Ht 

7., 设 A 为 Xn 阶 非 异 阵 , 设 岂 和 V 部 是 nXm 阶 阵 (x 之 m). 证明， 
(4+UV7) 非 异 当 和 且 仅 当 (+V AT'U) 非 异 , 并 且 

A++UVT) l= AAT1— AUI+VAUY IV7a4 1 (11.67) 
8. 利用 (11.67) 推 如 BFGS 公式 (11.64)? 满 足 关 系 式 


了 TH “ 
.Birn= 吾 十 Fs 一 2 和 (11. 68) 


其 中 永 一 已 rr,B 一 五 5 试 将 (11. 68) 与 DFP 公式 (11, 54) 作 比较， 
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第 十 二 章 ”线性 逼近 法 


本 章 和 下 章 ,我们 考虑 约束 最 优化 ,所 论 的 问题 是 
min f(z) (12.0) 
其 中 5 是 R&R" 中 的 子 集 ,是 Rr 中 或 S 中 的 实 值 函 数 . 

设 已 给 初始 点 x*E5, 依 有 照 某 种 渤 代 格式 从 ES 寻找 一 个 
#11ES, 使 得 11)< 之 A(z). 按 这 种 方法 构 得 序列 {zt}, 从 而 可 
望 求解 所 论 的 问题 . 本 童 以 及 下 章 的 部 分 都 是 这 种 思想 的 具体 实 
现 . 


§12,1 可 行 方向 法 


设 f(z) 在 R*" 上 是 连续 可 微 的 . 对 于 (12.0), 设 已 有 了 初始 点 
z*ES5. 我 们 记得 ,满足 
Vilrz Yd < 0 (12. 1) 
的 如 便 是 了 在 z? 处 的 下 降 方向 ,如果 这 个 吧 还 是 可 行 的 , 即 存在 
mm 之 0 使 得 
z+ ad ES,Y a€ Lo,%] (12. 2) 
则 称 如 为 下 在 zx" 处 的 一 个 可 行 下 降 方 向 . 
可 行 方向 法 分 二 步 ; 先 找 一 个 如 处 的 可 行 下 降 方向 吧 , 再 从 
x" 出 发 沿 加 对 了 在 可 行 的 条 件 下 求 极 小 zx! ,或 找 a: 
X= 二 wd fr) 一 Dn flr 十 od’) 
Zoudendijk 对 于 线性 约束 下 的 非 线 性 规划 
(LNP) min f(x) 
gt a z+b=0,1=1,2," ,mm 
alz+b 人 0 j=m 二 +l, p 
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其 中 aoaiE 到 已 和 灵气 出 了 一 个 村 找 可 行 下 降 方向 的 策略 ， 
设 已 给 (LNP) 的 可 行 点 zx", 由 于 约束 全 是 线性 的 ,容易 验证 ,x" 处 
的 可 行 方 向 集 为 

Z(z) = {d € Friald = 0 = 12 miald < 0 EE Sr))} 
其 中 
| Sz) = {jsalr b=0j=m 二 1,p} 
那么 可 取 "为 线性 规划 

min Vf(r) Td (12. 3) 


ddEZ¢20) 11d] lin an 

的 解 , 其 中 di 表 a 的 第 ! 个 分 量 ,12i| 专 1,1 二 1,…,n 是 附加 的 约 
束 , 以 保证 所 涉 的 线性 规划 有 解 . 

如 果 由 (12.3) 所 得 的 4 满足 (12.1), 则 它 必 是 了 在 zx* 处 的 一 
个 可 行 下 降 方 向 . 于 是 从 点 2* 沿 4 可 得 一 个 可 行 点 z: 使 f(x) 之 
了 (zn). 如 果 所 得 的 加 不 满足 (12. 1)， 即 VCxzo7ao 一 0, 依 (12. 3) 
的 定义 得 

{d:vf( Td < 人 门 Zzo) 一 好 

利用 定理 8, 16 知 此 时 xz? 已 为 (LNP) 的 下 一 点, 这样, 我 们 已 经 
描述 了 文献 中 最 早出 现 的 可 行 方 向 法 的 完整 的 一 步 ， 

为 了 确保 算法 的 收敛 性 ,Frank,Wolfe 在 寻找 可 行 下 降 方 向 
时 ,不 同 于 上 面 的 (12. 3), 代 之 以 求解 (LP-) : 
(LP,) minV f(x)’d 

s.t, ald=0,i=1," ,1m 
aT (xiad)+bA0,j=m 二 1 pp 
[dM ,=1, ,nn 

其 中 对 >0 预 先 给 定 . 注意 , (LP,) 是 将 所 有 的 约束 一 起 考 虚 进去 . 
并 且 ,(12.3) 的 最 优 值 为 零 , 当 且 仅 当 (LPw) 的 最 优 值 为 零 . 

现在 ,我 们 叙述 方法 . 

算法 12. 1(Frank-Wolfe 方法 ) 

步 0 对 (LNP) ,给 定 M>0, 任 给 可 行 点 x,&: 二 0; 

步 1 求解 线性 规划 (LP4) ,得 解 必 ; 
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步 2 车 VCz)T 愉 一 0, 停 :否则 

步 3 = +tadi: f(r) = min f(x +ad'), ks =k+1, 
返 步 1. 

现在 给 出 Frank-Wolfe 方法 的 收 但 性 . 

定理 12.2 设 fEC!, 则 算法 12.1 有 如 下 性 质 ， 

GD 若 算 法 终止 到 某 思 , 则 2% 为 CLNP) 的 K-T 点 ; 

(ii) 车 算法 产生 一 个 无 穷 点 列 {x*}) 且 设 {z*} 有 界 , 则 {xz} 的 任 
一 聚 点 都 是 {LNP) 的 K-T 点 ; 

(二) 车 f(x) 为 上 吓 函 数 , 则 上 述 (i)、(ii) 所 得 之 点 为 (LNP) 的 
全 局 极 小 点 . 

证 《由 前 面 的 分 析 得 到 ,( 志 7 由 (i 或 人 i) 及 (LNP) 为 凸 规 
划 得 到 . 我 们 用 全 局 收敛 性 定型 证 (ii), 定义 

TCX) 二 (zz 为 (LNP) 的 K-T 点} 

二 {z:z 为 (LNP) 的 可 行 点 且 CLP,) 的 为 优 值 为 零 } 

映射 4 一 SG, 其 中 S 即 步 3, 是 受 限 制 的 线 搜索 , 它 是 闭 的 ( 见 定理 


” 10. 20 类 型 1 );G;R" 一 R”" 由 (LP,) 定 义 ( 见 步 1),; 它 也 是 闭 的 ( 见 下 


引 理 }. 于 是 由 定理 10. 8 知 4 一 SG 是 闭 的 . 再 定义 关于 4A 和 本 的 
下 降 阔 数 (xz) 二 了 (x), 则 利用 全 局 收 合 性 定理 知 午 ) 为 真 ,证 毕 . 

引 理 12. 3 设 FECcl, 则 由 (LP.) 定 义 的 G(z) 一 (zy2) 是 闭 
的 . 

证 设 Q 由 
{LP,.) minV f(z)"d 
s.t. a trtad) ibh0, j= sr 

所 定义 . 为 证 得 G(rz) = (xz,d) 为 闭 , 我 们 只 须 证 由 (LP,)' 所 定义 
的 Glz) 二 (zsd) 为 闭 则 可 .事实 上 ,将 afd 一 0 化 为 等 价 的 dd<0， 
一 id 所 0; 同 时 将 | 双 | 委 M 化 为 等 价 的 d 志 MM, 一 di 侵 M 后 ， 
(LP。) 即 成 了 (LP.) 

设 zzdedd 是 (LP.)' 的 解 , 欲 证 G 为 闭 就 是 证 d 也 
是 (LP.7 的 解 . 记 


* 177。 


Sr) 一 人 7 (x 十 号) +b, 三 0,7 二 Te 
dd 是 (LP4)' 的 解 的 充 要 条 件 是 ,存在 内 3220,JEJ(Crzo ,使 得 
Vf 十 >， a0 (12. 4) 


jENst) 
再 记 
Tz) = {jaf(rt+ od) tb =0,7 = 1, ,7)} 
由 x 十 一 x 十 d 知 ,对 充分 大 的 恒 有 Cx) 和 J (xz). 故 (12. 4) 
可 改写 为 


VC 十 21 Mai 一 0 (12. 5) 


jEJLZ) 

其 中 对 jEJCr) Nzt), 补 设 1 一 0. 于 是 仍 有 坟 宇 0,jEJ(zx). 利 
用 代数 的 处 理 , 对 (12. 5) 还 可 设 ; 碟 闫 0,jEJ(z), 且 相应 于 片 >>0 
”的 全 部 a; 是 线性 无 关 的 (可 参见 定理 1,10 中 Gi) 的 证 明 ). 

由 于 Jtx) 是 有 限 集 , 故 存在 J(z) 的 一 个 子 集 了 (zx), 使 得 在 
序列 (pd; 直 宇 0,jEJ(zr)} 中 有 一 个 子 列 

{ft > 0 €E Hrs = 0 €E Jr) (7))} 

如 此 ,由 (12,. 5) 又 得 


Vs) 十 2 a=0 《12. 6) 


JEdz} 


且 由 上 上 段 末 的 说 明 可 设 {aj: jE J(z)} 蚌 线性 无 关 的 . 
由 (ws7Ev(z)} 的 线性 无 关 性 及 条 件 zi 一 x, 从 (12. 6) 得 他 
> 守 0,jEJ(zr), 且 


Vf(z) 十 了 克 a 一 0 《12. 7) 
也 即 (对 JEJGrwz) 补 设 pg 0) 
VA)+ pa=0 (12. 8) 


JEJKCz) 


(12.8) 就 是 d 是 (LP,)' 的 解 的 充 要 条 件 . 引 理 证 毕 . 

应 该 指出 ,在 算法 12.1 中 ,如 果 求 解 的 问题 是 无 约束 问题 , 即 
(LNP) 中 的 约束 全 消失 ,那么 对 写 于 CLP,) 中 的 约 东 只 剩 下 1di| 志 
M ,二 1,… sn. 所 得 的 算法 与 最 速 下 降 法 相 类 似 ( 具 有 带 限 制 的 线 
搜索 ). 于 是 我 们 只 能 期 望 本 算法 仅 具 有 线性 收 化 速度 . 
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8 12.2 线性 化 方法 


我 们 试图 将 算法 12. 1 的 步 1 和 步 3 加 以 合并 , 如 果 步 1 中 求 得 的 
4 怡 满足 
fl + td) < fl) C12. 9) 
由 于 zt 十 中 对 (LNP) 是 可 行 的 , 则 令 
t= 十 
或 许可 得 一 个 稍为 简单 些 的 方法 ， 
注意 到 车 AEC!, 则 对 小 的 有 
fir td) a Fr 十 Tf rT a (12, 10) 
如 果 也 Cr)7TAi<<0; 则 (12.9) 对 于 小 的 让 会 成 立 .于 是 车 在 算法 
12.1 中 将 步 1 之 (LP 中 之 |Qd| 志 M 改 为 |di | 所 ,[ 二 1 
并 取信 足够 小 则 能 保证 (12.9) 成 立 , 然而 这 样 的 改动 势必 会 使 新 
的 算法 收 仑 过 慢 . 于 是 想到 当 F(z?) 与 了 (zx! 十 4*:) 有 较 大 差别 时 ， 
应 将 避 增 大 . 这 些 想法 可 用 下 面 的 办 法 来 实现 :预先 给 定 pi,p，: 
0<m<Pm<1, 考 虑 
Fi 十 二) — Fx) pV dd (12.11) 
flri tad) 一 xD pV fr) Ad (12.12) 
如 果 对 于 |adi| 志 ai; 解 对 应 的 (LPA) 所 得 之 让 能 满足 (12.12), 则 
置 zi+! 一 十 二 ,并 且 此 时 说 明子 在 好 处 沿 方向 起 有 较 大 下 降 的 
趋势 , 下 一 步 将 oi( 按 某 种 法 则 ) 增 大 到 ol, 类 似 地 求解 对 应 的 
(LPst1) ;又 车 这 小 不 满足 (12.11), 这 说 明 f(z 十 d 站 与 人 x 人 ) 比 
较 未 下 降 或 下 降 得 过 少 , 则 可 将 m( 按 某 种 法 则 ?缩小 后 , 重 解 对 应 
的 (LP2); 对 剩 下 的 情况 , 则 令 mr 一 四 zt 一 地 十 下, 继续 和 迭代 . 
总 之 ,一 个 合意 的 z*+1! 二 z+ 十 d*: 是 通过 (在 必要 时 ) 不 断 地 调整 0， 
使 (12. 11) 总 成 立 ， 
由 此 构造 的 算法 主要 是 通过 求 f(z) 的 一 次 近似 式 , 即 
(12. 10) 之 右 端 的 极 小 来 完成 的 , 故 可 称 之 为 线性 化 方法 . 从 另 一 
个 角度 来 看 ,这 个 方法 的 手段 是 通过 不 断 地 调整 二 来 实现 的 ,使 
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得 有 关 线 性 规划 的 约束 区 域 能 保证 得 到 的 2: 使 了 有 足够 的 下 降 ， 
故 又 被 称 为 信赖 域 法 (Trust Region Algorithm), 英 六 缩写 为 


TRA. 
为 阅读 和 书写 方便 ,我 们 写 出 
(LNP) min f(x) 


s.t. af zh=0,1—=1,.,m 
alzt+b0,j=m 二 1 sp 
以 及 一 个 新 的 辅助 线性 规划 
(LP,,,) minV f(x)d 


Ss, t,。 aid=0,1= 1 "sp 


al{zt+d)+b0,j=m+1 "°° 


[dl | 筷 o;l=1 3 了 
算法 12. 4( 线 性 化 方法 ) 


sp 


步 0 预先 指定 Als Pp2 sc1 Cz Opil :C20<c 1 ， 以 
及 一 个 较 大 的 M>>0, 任 取 一 个 可 行 的 zco; 一 Mf :一 0; 


步 1 求解 (LP4.,), 得 解 4d 
步 2 车 Vflx) "A* 二 0, 停 ;否则 
步 3 考虑 
f(r + ad) 一 了 Co pV f(r) Td 


(12. 13) 


《a) 若 (12. 137 对 Pp 二 户 不 成 立 ; 则 04: 二 cio4; 重 解 (LP.,。) 得 解 


仍 记 为 民 , 用 新 的 ad:* 代替 原 有 的 必 重 新 执行 步 3; 


《b) 若 (12, 13) 对 P 二 让 成 立 但 对 p 一 ps 不 成 立 , 则 Gps = 


转 步 43 


(c) 若 (12. 13)7 对 Pp 二 成 立 ; 则 mm :一 min{fcacty af) , 转 步 4; 


大 4 Tl 二 x ,k= 二 1. 返 步 1, 
下 面 考虑 收敛 性 ， 


定理 12.5 设 fEC', 则 由 算法 12. 4 求解 (LNP) ,有 
(iD 若 算法 终止 于 某 如 , 则 z 即 为 (LNP) 的 K-T 点 ; 
ti) 车 算法 产生 一 个 无 穷 序 列 {zx), 则 它 的 任 一 育 点 都 是 
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(LNP) 的 K-T 点 ， 
《十 ) 车 7z) 为 西 函 数 , 则 由 (及 (ii 所 得 之 点 都 是 (LNP) 的 
全 局 极 小 点 ， 
证 G)、(ii) 的 证 明 同 定理 12. 2, 下 证 (ii). 
我 们 只 在 矿工 , 即 {z4 本 身 收 敏 的 情况 下 进行 证 明 . 首先 ,由 
{ 太 } 有 界 及 了 EC 知 , 对 Ye>>0, 存 在 负 盖 0, 使 得 只 要 | d| 一 
| 一 2 ,就 有 
FM dad) 一 (xz EE VI)Td 十 ed 《12.14) 
其 次 , 若 却 非 (LNP) 的 K-T 点 . 记 中 为 (LP。 的 解 . 则 由 三 
非 (LNP) 的 KT 点 知 一 f(z)" 会 2L>0; 再 记 a*! 为 (LPz,1) 的 
解 ,再 由 了 EC 知 ,存在 襄 >>0, 只 要 |‖ 妈 一 玛 | < 二 2 就 有 
一 Vf(rD) mL( 参 见 引 理 12. 3), 于 是 
一 Vf a Vf Ta a LL la 
《12. 15) 
结合 (12. 14) 和 (12.15) 可 知 ,只 要 | 四 过 8. ,x 一 二 <<6, ,就 有 


fr td)— f(r) Vf rat sla 
一 VD YY Vil)d 


委 一 1 十 BA 
在 上 式 中 取 8 一 L(1 一 p,) ,注意 到 
过 一 元 ,从 而 中 一 0 全 了 (12. 16) 


故 存在 天 1, 只 要 > 必 ! 就 有 
fr dad) 一 Fe SE pV fOr) Ta (12. 17) 

最 后 ,(12. 17) 表 明 算法 之 第 3 步 在 >K1 后 总 执行 (c) , 故 又 
存在 尺 ,之 Ki ,内 要 这 民 ; 就 有 0 一 MM. 于 是 在 下 3 玉 : 时 ,算法 12. 4 
步 1 之 (LPsz,。) 就 是 算法 12.1 中 的 (LP#). 利用 引 理 12. 3 及 (12. 16) 
知 如 二 0 就 是 (LPs.w) 的 解 ;但 由 Vf(z)"9=0 知 下 是 (LNP) 的 K-T 
点 .此 与 喜 非 (LNP) 的 K-T 点 的 假设 矛盾 .证 毕 . 

请 读者 检查 以 上 证 明 的 每 一 步 ,然后 想 一 想 , 如 果 只 取 {z)} 的 
一 个 聚 点 来 证 会 发 生 什么 困难 ?这 个 问题 困扰 养 人 们 近 二 十 年 ,我 
们 要 在 下 一 节 对 一 个 更 为 一 般 的 问题 作 正面 的 解答 . 
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8 12.3 似 线性 化 方法 


我 们 可 以 将 上 节 的 思路 加 以 延伸 .为 此 ，, 令 
了 一 (万 ， 户 无 并 

其 中 万 EC ii 一 1 为 玉 上 的 实 值 函 数 . 令 p 为 天 上 的 凸 函 
数 , 令 为 妨 中 的 闭 凸 集 . 考 虑 问题 
(GNP) migpf (x)) 
注意 , 若 取 3 如 上 节 的 线性 约束 集 , 取 7 一 1,， 取 9 二 +:R 一 RR, 则 
《GNP) 就 是 上 节 的 (LNP). 

今 将 了 线性 化 , 记 

Glrid) = 0 + (ra) 
fi Tf Yd, f(r I fr) Tq) 
(12, 18) 

并 构造 如 下 的 辅助 规划 
《6LT-) 他 De 5 (zd) 
这 规划 中 ,zE3 为 固定 ,4E€ RR 是 变量 . 现在 我 们 可 以 描述 求解 
(GNP) 的 算法 ， 

算法 12. 6( 似 线性 化 方法 ) 

步 0 预先 指定 pi ,pssciyc2:0<p 之 p10 之 6 之 1,c; 守 2; 以 
及 某 个 较 大 的 M>0. 任 取 E85,00:= 二 Mk; 二 03 

步 1 求解 (GLPx.。), 得 解 心 ; 

步 2 车 Gx30) 一 Gxtyd)= 二 0, 停 ;否则 

步 3 考虑 . 

Hf 十 0) — Hf)) SE pO ad) ~ Gri30)) 

(12. 19) 

a) 车 (12.19) 对 p= 二 pp 不成立, 则 04; 二 C04s 重 解 (GLPx,s) 得 
解 仍 记 为 dt, 用 新 的 小 代替 原 有 的 必 重新 执行 步 3 

《b) 若 (12. 19) 对 p 二 py 成 立 但 对 p 二 不 成 立 ; 则 ml: 一 mm， 
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转 步 4; 

Cc) 若 (12.19) 对 2 一 P 成 立 , 则 gsi1;: 二 min (csty,MM}, 转 步 4， 

步 # Tt! 二 十 ,二 训 十 1， 返 步 1. 

以 下 对 算法 的 性 质 进行 讨论 . 

定义 12.7 设 TE5, 说 zx 是 (GNP) 的 (广义 )K- 下 点 ,车 存在 
某 个 o>>0 使 得 d= 二 0 为 (GLP,,,) 的 解 , (GNP}) 的 KK-T 点 的 全 体 记 
为 

引 理 12.8 设 FECL8 为 天 中 的 凸 函 数 , 则 Grid) 关 于 
是 芋 画 数 ， 

证 任意 如 ERAE[o1I]， 

CGfziMd 十 (1 — Wa) 一 MAFCz) 十 户 (z)(d 十 (1 一 _ bi) 
= AF + FIA) 十 (一 DCFGz) 十 户 (z)d2)] 
AFT) + PTA) + 0 — VDF) 十 户 (zi 
一 MG(zid) + (1 — WGCrsd’) 

注 ”这 个 引 理 的 一 个 直接 应 用 就 是 算法 12. 6 中 的 辅助 规划 

(GLPz.o) 总 是 凸 规划 , 故 其 极 小 是 全 局 性 的 . 

以 下 , 记 (CGLP,,w) 的 解 为 d,,. 
引进 12.9 设 fECi,p 为 RR 上 的 点 函数 且 S 为 Rr 中 之 凸 
集 . 若 却 ES 但 元 在 卫 , 则 存在 也 >>0 及 信 >>0, 员 要 |z 一 隐 | 包 四, 就 有 


CIzi0) 一 CG(zid 之 工 (12. 20) 
证 设 二 ES 但 3 态 厂 ,由 定义 12.7 知 
| GE0) ~— Gz1dzs1) A2L>0 (12. 21) 
取 ==1/(1 十 az 中) , 记 
.=F5+ de 5) (12. 22) 
由 S 为 凸 , 就 有 
| I AF—z)E SYIES (12, 23) 
再 设 ES:lzr—zls1, 于 是 
lz z= | 证 运 TF + 7) 
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<— 1 z+ lal) 


1 + lds,l 
委 1 《12. 24) 
由 (12, 23)、《12, 24) 及 ds 的 定义 知 , 对 Y zES:lz 一 元 | 受 1, 有 
G(xrsAE— x)) — Gridi) 0 (12. 25) 


利用 此 式 以 及 G(zyd) 关 于 4 为 凸 ,再 利用 (12. 22) ,有 
Gir —Grsdr.1) 
=[G(x10) —GlryAz— zx) +[G tr A rx) Gx;d,1)] 
宇 [G(r;0)—G(r;A(F— zx)) |] 
守 ALG(r0) — GCrs (Fz))] 
=Ai{EGtz; 0 G0 [G0 —G(E;di,) | 
+[GCE;E A) Gr; rz) 1} 
由 户 的 连续 性 及 yp 的 凹 性 (从 而 连续 ) 知 ,上 式 之 花 括号 中 之 第 一 、 
三 项 均 可 充分 小 ,只 要 |‖z 一 过 | 充分 小 . 对 其 第 二 项 用 (12. 21) 得 
(12. 20). 证 毕 ， 
由 引 理 12, 9 可 直接 得 到 一 个 有 用 的 推论 . 
推论 12. 10 设 fEC!',g 为 Rr 中 之 是 函数 且 S 为 R* 中 之 闭 
凸 集 , 则 也 为 闭 集 . 
证 利用 上 引 理 及 定义 12.7 可 证 荆 (相对 于 3) 的 补 为 开 集 . 
引 理 12. 11 设 FEC2 为 尺 中 之 凸 函 数 , 则 Y xES5,Y o> 
0, 有 
GIO0) 一 Grid min{(l so (G(T10) — Gtrsd,,.)) 
(12. 26) 
证 对 sz1 上 式 显然 成 立 . 若 0<o<1, 则 
Cr0) — Grdo G(r10) 一 Cr5od 
守 JG(rT10) 一 CC(Zi TD)) 
上 之 第 一 个 不 等 式 直 接 由 定义 得 到 ;第 二 个 不 等 式 由 GCzid) 关 
于 4 的 凸 性 得 到 , 故 (12. 26) 亦 成 立 , 证 毕 . 
由 引 理 12. 9 和 引 理 12. 11 直 接 得 如 下 结论 . 
引 理 12.12 设 FECl,p 为 天 中 之 凸 函 数 且 今 为 天 中 之 山 
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集 . 若 去 ES 但 达 匀 也 , 则 存在 人 >>0 及 工 >0, 只 要 由 算法 给 出 的 x 
满足 | 一 去 上 581, 就 有 
G0) 一 Cai LL: min{l,o)} (12. 27) 
引 理 12.13 设 fECi,g 为 R" 中 的 是 函数 , 则 对 Y zES, 有 
Fr ad) = Gr;d) + od]) (12. 28) 
证 固定 zx, 由 多 为 凸 , 故 ?9 洽 足 局 部 Lipschitz 条 件 , 记 Ly 为 
”了 f(z) 的 某 个 领域 内 Lipschitz 常数 , 则 对 充分 小 的 d, 有 
[f(zt dD Grd = gf (rta) — f+ (ra) | 
Lf ra — fr — fF ral (12. 29) 
由 此 式 及 条 件 FEC! 即 推 得 (12. 28). 证 毕 . 
引 理 12. 14 设 fECi,gp 为 R 中 之 是 函数 有 是 S 为 记 中 之 巴 
焦 . 车 ES 但 芭 付 卫 , 则 存在 驴 汪 0,5, 汪 >0, 只 要 |z* 一 | 寺中 
委 3 ,就 有 
Hf Ad) 一 殉 Fz) EE pr GTA — G10)) 


(12. 30) 
证 由 引 理 12.12 之 (12.27) 知 ,车 zx: 一 二 所 5. 及 ||a 志 1, 则 
Gri0) 一 CC Lila! 《12. 31) 


由 此 及 引 理 12.13, 并 注意 到 g(x*)) 一 Glzt10) ,得 
HFT — Hf tA) G0) — Gid') 十 of 


GO) — G(r da’) G0) 一 个 ( 
=] .leD 


由 ps 二 1, 取 5 半 0 适 当 小 , 即 由 (12. 32) 得 (12. 30), 证 毕 . 

由 于 在 得 到 (12. 30) 的 证 明 过 程 中 并 不 涉及 算法 的 具体 迭代 ， 
故 对 未 ES 但 亏 生 也, 在 (12. 30) 中 以 元 代 若 x, 以 ds,o 代 若 怀 , 则 对 
Yo:0 寺 |4ds,o 寺 6; ,新 (12. 30) 依 然 成 立 ， 于 是 ,我 们 得 到 

推论 12. 15 设 fECi,g 为 Rr 中 之 凸 函 数 月 5 为 RR 中 之 闭 
西 集 , 则 算法 12, 6 是 可 行 的 . 

证 在 算法 步 3 之 (ta) 中 ,5 会 不 断 地 缩小 . 此 时 ,由 六 ES 但 
多 古 , 视 大 为 固定 , 视 x 为 上 引 理 中 之 到 ,于 是 经 过 有 限 次 的 志 
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的 缩小 后 , (12. 30) 必 成 立 , 故 算法 必 转 入 (b) 或 (c) ,证 毕 . 

Ortega;Rheinboldt 定义 的 伪 凸 函数 如 二 ,在 凸 集 工 志 尺 上 的 
实 值 函 数 g 称 为 伪 凸 的 ,如 果 对 Y zi,z*EXX 并 且 满 足 gz 全 
gf(z0 都 存在 ec 和 Tr:a>>0;0 过 ft 和 亿 1( 一 般 a 和 r+ 都 依赖 于 zz 和 
22) ,使 得 对 每 个 0 魏 2Sr, 满 足 

gril + Or Cm x) RET 一 加 (12, 33) 
我 们 称 g 为 在 “Ortega-Rheinboldt" 意 义 下 的 伪 凸 ， 

注意 , 若 g 为 凸 , 则 (12. 33) 必 成 立 . 
定理 12.16 设 FEC,9? 为 玉 上 的 凸 函 数 且 $ 为 天 中 之 上 
集 , 划 : 

(i) (GNP) 的 极 小 点 都 是 它 的 K-T 点 

(Ci) 车 gCfCz)) 在 5S 上 为 在 Ortega-Rheinboldt 意义 下 伪 上 是， 
则 CGNP) 的 K-T 点 都 是 它 的 全 局 极 小 点 ， 

证 人 车 却 ES 但 范 八 也, 则 在 (12. 30) 中 令 刀 为 工 , 取 z:0<< 
ok8 ,2 如 引 理 12. 14, 可 得 新 (12. 30). 由 引 理 12. 12 之 (12. 27) 知 
新 (12. 30) 右 端 为 负 ,这 表明 艺 非 (GNP) 之 极 小 点 . 

0i) 任 取 定 下 ,xE€5,FEET, 若 红 Fz)) 全 作 7Cz)) 则 依 伪 凸 
条 件 ,在 (12. 33) 中 分 别 视 zz 为 元 ,z, 则 存在 w>0，, 使 得 对 Y 9E 
《0,z], 均 成 立 

a /E+ Or — #7)) — FE)) 


十 


上 式 中 的 等 式 由 (12. 28) 式 得 到 , 又 ,由 斑 E 民 知 上 式 最 右 端 之 第 
二 项 恒 非 负 , 令 8>0+ 可 知 (12. 34) 式 不 成 立 . 这 个 牙 盾 说 明了 
HAZ)) 志 fACz))., 证 毕 . 
注 ”这 个 定理 说 明了 K-T 点 的 定义 (定义 12, 7) 的 合理 性 . 
引 理 12. 17 设 fECi,p 为 RF 中 之 是 函数 且 5S 为 Rr 中 之 闭 
西 集 . 设 算法 12, 6 产生 一 个 无 穷 点 列 {x*}, 车 (z 有 一 聚 点 元 各 卫 ， 
则 必 存 在 一 个 >0: 可 从 {zt) 中 选 出 一 个 收 敏 子 列 { 态 } ,x14 一， 
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= CEA 一下) 一 CO (12. 34) 


oO) 
召 


ES, 且 使 得 0% 之 对 一 切 了 成立, 并 且 还 有 寺村 也 

证 在 引 理 12. 14 中 先 将 人 >>0 适 当 缩 小 ,使 得 凡 满 足 |z 一 卉 
魏 人 的 之 都 有 入 卫 ( 由 推论 12. 10 以 及 去 生 三 知 这 是 办 得 到 的 ); 再 
将 35;>0 送 当 缩小 ,使 得 

26, 0 有 cd <TM 

于 是 ,对 lz 一 二 | 寺 264, || 夺 6% 依 然 有 (C12. 30). 

今 设 { 太 } 为 {z9 的 收 化 子 列 , 且 2 一, 由 S 为 闭 知 却 ES. 不 
芒 设 对 一 切 : 有 lz 一 3 所 6. 从 {5} 中 任 取 一 元 z: 

(0) 车 04 之 癌 , 则 选 和 ， 

(i) 车 04 人 ,注意 到 ||a 人 ro ， 以 及 


lz — | 寺 6 (12. 35) 
赦 有 
lz 一 一 = lz 十 dr 一 玛 | 
委 xz 一 隐 十 el < 26; 
据 此 可 设 
对 :一 0,1 3 有 和 < 但 mr 写 史 《12. 36a) 
以 及 
对 s 王 1,2,,35, 有 z+ 一 十 必 26s; 但 | 上 x 和 1 一 去 | 之 26。 
(12. 36b) 
再 记 
5s" 一 min{$,s} 
则 对 :二 0;1,.…,s" 均 有 (注意 到 还 有 (12. 35)) 
ar < its < 人 ze 一 天 | < 26, 
由 第 一 段 的 叙述 ,可 重 写 (12. 30) 为 
fxr 十 drt)) — pf rt)) 
SoGrt dt) — Gxt 0)) 
于 是 此 时 算法 步 3 执行 (c》, 即 
对 s 二 0,1,… ss* ,有 ghtstl: 二 CzGa+s (12. 37) 


今 证 35, 车 $>3, 则 上 式 中 有 s*=F. 由 于 cs 守 2, 上 式 表 明 以 
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1z 一 +00.psn 所 示 的 邻 域 应 包 售 zr1',s 二 0,1,… ,5. 于 是 
结合 (12. 35) 有 | 
Ghatt 之 Ee | 
宇 ]zr 一 到 | 一 下 一 于 | 
这 28, 一 名 一 如 
另 一 方面 ,由 (12. 36) 知 ?>>5 又 意味 着 ou rri<Ba. 这 个 矛盾 便 证 
明了 ;5 
接 下 来 证 明 为 有 限 . 车 # 为 无 限 , 则 由 52>3 知 (12. 37) 中 有 
s" 二 十 co, 即 得 ou +: 一 Cou 对 所 有 5 一 0,1,2,… 成 立 , 这 又 表明 
Or Ts 之 名 对 适当 大 的 > 总 成 立 . 这 与 ;为 无 限 相 有 矛盾 . 
既然 3 为 有 限 且 3<3. 此 时 选 x+ 由 (12. 36) 和 (12. 37) 即 得 
rr 一 过 | 委 2 祥和 (12. 38) 
Oti = Otiti/ts 之 tfc (12. 39) 
注意 ,情况 个 中 所 选 的 zr 也 满足 上 二 式 . 
综 上 (和 (ii) 知 ,逐一 考察 { 兴 ) 中 的 每 一 元 , 则 可 从 {zs*} 中 选 
得 一 子 列 {z%}, 并 且 5 和 oi 满足 对 应 的 (12. 38) 和 (12, 39). 视 
{x5}) 本 筷 收 钙 , 记 6 一 56/cz, 结 合 本 证 明之 第 一 段 的 论述 知 结论 为 
真 . 证 毕 . 
定理 12, 18( 似 线性 化 方法 的 收 伍 性 ) 设 FEC,92 为 灭 中 的 
凸 函数 且 3 为 玉 中 之 闭 凸 集 , 则 算法 12. 6 是 可 行 的 ;并 且 
(i) 车 算法 终止 于 某 xz*, 则 ET; 
(Ci) 车 算法 产生 一 个 无 穷 点 列 {z*}, 则 对 于 它 的 任 一 聚 点 到 
都 有 元 各 也 
《ii 车 9( 有 在 5S 上 为 在 Ortega-Rheinboldt 意义 于 伪 凸 , 则 
人 中 之 妈 或 人 i) 中 之 未 都 是 (GNP) 的 全 局 极 小 点 . 
证 ”可行 性 即 推论 12. 15. (和 由 算法 得 到 保证 ,证 ) 由 人 Di) 
及 定理 12.16 之 (让 得 到 ,下 证 (ii). 
车 元 入 卫 , 则 由 引 理 12. 17 知 ,可 取得 { 妈 } 中 的 收 伍 子 列 {( 态 } 
zi 六 ,二 EE 8, 了 ;并 且 存 在 8>0 使 得 04, 渤 4 对 一 切 j 成 立 . 由 
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引 理 12. 12 知 存在 命 沁 0 及 >0, 只 要 |zx5 一 麟 才 6 就 有 
Gris0) — G(sdt) 
守 L' min{1,00} 之 上 min{1,) 
和 人 0 (12. 40) 
另 一 方面 ,由 算法 结合 (12. 40) 有 
PFT ~ PF x5t1)) 
GCI0) 一 Gs) p> 0 (12.41) 
由 {gCf(zt))} 的 单调 下 降 性 及 x5 一 主 知 上 式 之 最 左 端 的 极限 为 
零 ,这 又 吉明 (12. 41) 对 充分 大 的 j 不 成 立 . 定理 和 证 毕 . 
注 综观 以 上 的 证 明知 , 若 在 算法 12. 6 步 3 之 (a) 中 


将 :== coi 改 为 0: 一 ce C12. 42) 
同时 (或 者 ?在 步 3 之 (b) 中 
将 oil: == i 政 为 mi 一 | (12,43) 


以 上 一 切 结论 都 成 立 . 
及 ,车 定义 pisR Ri 二 1,2,3, 为 


PU) = max {ty} 
1& jr 


pt) = Dil 
i=1 


它们 都 是 R 中 的 是 函数 .对 应 于 (GNP) 则 有 


minmax {f(x)} (C12, 44) 
rES jr 

min 2 |fi(2)| 《12. 45) 
I j=l 

min [F(x) (12. 46) 
了 ES j=! 


它们 在 文献 中 分 别称 为 极 大 的 极 小 问题 ,( 非 线性 )4 问 题 ,以 及 最 
小 平方 和 问题 .在 S 二 放 或 5 由 线性 约束 刻 划 时 ,由 算法 12. 6 求 
解 这 些 问 题 都 比较 方便 ， 
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”对 于 带 有 非 线性 约 东 的 问题 ,可 用 本 章 及 下 章 的 方法 结合 求 
解 ， 


习 题 


1. 利用 算法 12. 1 求解 
min 4Cz1):+ (zs— 2)° 
5.t. | 2 |]?2, |zz | 
取 一 (一 2, 一 1)7,M = 二 4. 并 作 示 意图 . 
2. 利用 算法 12. 4 求 榴 上 题 中 的 问题 . 取 r",Md 同上 是 ,然后 取 c= 二 1/2， 
6 一 2 和 一 174 0 一 273. 并 作 示意 图. 
3. 利用 算法 12. 1 求解 


min f(z)=$ [Cariest (x2)7 J 一 了 


Sst, zirT2r T3220 
取 式 一 C0,1/4,1/2)7,M==5. 
4. 利用 (12. 3? 表 示 的 规划 代 符 算法 12.1 步 1 中 的 规划 后 所 得 的 算法 ,就 
是 Zoudendijk 最 初 提 出 的 可 行 方向 法 , 试用 这 个 方法 求解 上 是 的 规划 . 取 也 
和 4 与 上 题 同 , 君 夏 会 发 生 什么 问题 . 
5. 设 下 xy) RX 一 RISCR". 对 Y zz 和 5 考虑 
(PP-) inf pT Yy) 


yrstyE srl 
记 它 的 最 优 值 为 vCz). 证 明 
人 著 人 5 为 西 集 且 $ 为 上 半 连 续 , 则 v 为 上 半 和 连续 1 
(i) 车 $S 为 凸 集 且 允 为 连续 , 则 " 亦 为 连续 ; 
Giii) 车 5 为 闭 集 且 % 为 下 半 连 续 , 则 "为 下 半 连 续 ， 
注 这 里 的 结论 是 引 理 12. 3 和 引 理 13.9 的 推广 . 
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第 十 三 章 ” 罚 函数 法 


求解 约束 优化 问题 的 另 一 个 重要 途径 是 化 约 东 问题 为 无 的 
束 问题 ,这 就 是 著名 的 罚 函 数 法 , 罚 函 数 法 也 叫 SUMT 方法 ， 
即 序列 无 约 东 极 小 化 方法 (Seqential Unconstrained Minimization 
Techniques). 


$13.1 外 部 罚 函 数 法 


1. 方 法 


仍 考虑 问题 
(P) min f(x) 
其 中 为 "上 的 连续 函数 ,SG R". 假定 还 存在 R* 上 的 续 函 数 
P(x) ,其 满足 
二 0， 着 TES 
Pe) Ls (13.1) 
借 此 定义 一 个 居中 舍 参 变量 y 的 函数 
cz = f(x) 十 APCzr) (13. 2) 
并 称 之 为 问题 (P) 的 增 广 目标 函数 . 由 (13. 1) 和 (13. 2) 可 知 
7(z)， 若 zeE3 
十 co， 若 = 可 汪 
于 是 ,形式 地 可 将 (P) 化 为 无 约束 问题 
min f(x) = min g(t coyz) (13. 3) 


2 习 


实际 上 , (13. 3) 右 端 无 法 求解 ,于 是 想到 用 一 列 单调 上 升 趋 于 正 无 
穷 的 Am 代 之 , 即 求解 (序列 的 ?无 约束 问题 


min g(¢4 ,x) (13. 4) 
工作 机 


q(T cosy) 一 | 
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希望 求 得 的 一 系列 x: 能 提供 (P) 的 解 的 信息 . 
算法 13. 1( 外 部 罚 函 数 法 ) 
对 规划 (P), 设 已 给 由 (13.1) 所 定义 的 P(xz). 


步 0 取 定 一 严格 单调 上 升 的 正 数列 内 ,有 一 0,1,2,…， 且 


Ar 十 oo ,到 : 一 05 
步 1 求解 (13. 4) ,得 解 zx; 
步 2 若 xtES5, 停 ,zx! 为 (P) 之 解 ;否则 
步 3 上 &; 二 十 1, 返 步 1. 
本 章 所 述 之 极 小 缘 指 全 局 极 小 . 首先 ,我 们 有 


引 理 13.2 若 存在 一 个 pi 使 得 min daCpmoiz) 的 解 reES, 则 
工人 


dz 为 (P) 之 解 ， 
证 任 取 xES, 由 Plz) 之 定义 知 
zx) 六 min fix) 一 min {f(z) + oP lr)} 


min{ f(z) 十 moP(z))》 = fx) 
了 


证 毕 ， 


如 先前 一 样 , 如 果 算 法 得 到 一 个 无 穷 点 列 , 则 问题 总 要 复杂 一 


些 . 


引 理 13. 3 ” 设 算法 13. 1 给 出 了 一 个 无 穷 点 列 {z+}, 则 下 列 关 


系 式 总 成 立 : 
iD g(asr a(t!); 

(ii Pl BP); 

Ci) f(x) EF rt), 

证 C0 garnsrtr)=f (+p P(e!) 
Ft pa P(t!) 
>min{f (xz) + wmPr)} 

ze 到 
=qg(p43x.) 
Gi) 由 定义 得 
xD) 十 priP rr) < Fr) 十 MPCz 
fr) 十 PR SE Fr + Pr) 
两 式 相 加 后 ,整理 得 
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(13.5) 
(13, 6) 
(13.7) 


(C13. 8) 
(13, 9) 


《HH1 一 AP 1) < 魏 (AH 一 Ha) Prt) 

由 +1 一 所 之 0, 由 上 式 即 推 得 (13. 6). 

《这 )》 由 (13. 9) 及 (iiy 即 得 .证 毕 . 

定理 13. 4( 外 部 罚 函 数 法 的 收 敏 性 ) 用 算法 13. 1 求解 (P) 有 
如 下 性 质 ， 

() 若 算法 终止 于 某 包 , 则 x 为 (P) 之 解 ; 

(让) 车 算法 产生 一 个 无 穷 点 列 {zx}, 则 {zx} 的 任 一 聚 点 都 是 
(P) 之 解 . 

证 ”人 即 引 理 13. 2， 

(这 设 {z} 所 (六 ) ,>z, 任 取 定 xE5, 则 有 

flr)= fr) + mpPlr) 


之 2 十 MP(z > fr) 《13. 10) 
故 有 
fr) fF YIES (13, 11) 
同时 ,由 (13, 10) 还 知 
fT) 十 MP & fxr) (13. 12) 


这 意味 着 P(E)=0. 不 然 的 话 , (13. 12) 对 充分 大 的 名 将 不 成 立 . 
由 成 (元 ) 一 0 得 去 ES 由 此 结合 (13.11) 知 王 为 (P) 之 解 .证 毕 . 

注意 ,由 上 面 的 证 明知 可 在 (13. 10) 中 取 z= 到 ;从 而 得 f(z) 
之 xz) , 故 一 般 地 说 有 z* 久 5S. 并且 {x4} 是 从 5 的 外 部 去 通 近 (P) 
的 解 的 ， 

推论 13.5 设 算法 13. 1 产生 一 个 无 穷 点 列 {x*}. 车 {xt} 有 一 
聚 点 z'; 则 之 ' 为 (P) 之 解 . 且 

GD lim fz) =f(r"); 

《ii lim gCpusx) 一 了 Ce) 

i) lim 用 P(z) 一 0. 

证 明 留 给 读者 . 注意 , (着 ) 表明 在 tco 时 ,惩罚 项 的 作用 逐 
浙 消 失 . . 

下 面 考 虑 P(z) 的 构造 ， 
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情况 I S,={xER :hh(r)=0,i=1,*… sR}. 
取 


Pi(z) = Dhlz) la > 0 


t=1 

若 o>0 且 刀 为 连续 , 则 Pi(z) 连 续 ;车 取 ej>1 且 可 微 , 则 Pitzx) 
亦 可 微 . 

情况 丰 Ss 一 {rxEFR ,gi(z)A0,j 二 1,*… ,pp}. 

取 

Plz) = PImaxt0,860) ,8> 0 

对 于 户 的 讨论 与 上 面 的 相同 . 

情况 下 S$S=S, 门 S;. 

取 

P(x) = Pi(z) 十 Px) 
例 13.6 min f(x)= (zx),s.t.1—xr<0,TER, 
显然 ,x' 二 1,f(z*)=1. 取 
P(x) = [max{0,1 — xz} 1, 
册 
Cz)’, 若 开 之 1 

so 一 全 te 十 pt1 一 z)?， 车 + 之 1 
在 尺 中 极 小 化 gq(p;z): 

Yy Vsmin gz) 一 1, 极 小 点 于 一 1 

vy #>0:min gCpiz) 二 minC(x) 十 CI 一 z))， 故 极 小 点 为 全 
二 Jp/ 十 7 之 1. 同时 


CA ) 一 min GCC) = /1 二 } 
T= /tm) 
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(px 1 一 (zi 人 1 一 区 
可 从 图 13. 1 中 验证 以 上 有 关 理 论 : 
“pe) g(x) 


Xl Xi x 
13.1 
2. 外 部 蜀 函 数 的 性 质 


本 节 ，, 我 们 考虑 外 部 昼 函 数 的 性 质 . 为 简便 计 , 仅 考虑 等 式 约 
东 的 情况 
st, htz)=0,1=1,"* 
侦 定 (EP) 有 解 xz*,f,hEC 且 x" 是 的 东信 的 正则 点 ， 即 
了 了 hz ) ,f= 二 1 "41m, 线性 无 关 . 
取 


gz) 一 7(z) 十 的 > hm) (13. 13) 


t=l1 
记 天 二 (hl 9 "加 ) ，* 则 上 式 可 写成 紧凑 的 形式 日 
gp37) = fr) 十 ahr) hr), 
(i) 设 zt 为 min aas) 的 解 , 则 必 有 
工人 


0 一 VT) | z= 


一 VCz 十 ZImV hr hr) C13, 14) 
其 中 Yh(z) 的 定义 见 $ 8. 2. 若 定义 
P= hE R") (13. 15) 


则 (13.14) 襄 收 写 为 
vf) + VhCr)=0 (13. 16) 
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(13. 16) 恰 表明 z* 是 问题 


和 (EP) min flz) 
~ hl)=h) =0 st, hz)=hCrt) 


\ 的 K-T 点 . 几何 上 的 解释 见 图 13, 2. 
h(x) = A 《ii 由 于 VA(z) 满 秩 , 故 当 元 
图 13.2 充分 接近 于 z 时 ,VCzo 亦 满 秩 , 从 
而 省 (13. 16) 解 得 
X=— [VvVh Yh VA VF) (13.17) 
令 k>o0, 得 本 4* ,其 中 
4° =— [VACr I VvVhr DYACT I VY fxr) 
设 天 ,好 一 1，…, 妈 分 别 为 闪 和 炉 的 第 :个 分 量 , 又 车 叉 天 0, 则 
由 (13. 15) ,性 王 2pjn (zt 一 好 天 0. 这 又 意味 著 有 (x!) 欧 于 零 的 速 
度 可 表 为 1/ 必 ， 
《ii) 现在 考虑 Hesse 阵 
VE 玉 ) 一 了 ct) 十 Za VT h(x) Yh Or)T 
十 Zp VihCr) h(t) 


x 


或 记 为 1 
V2g(AgX0 = L(t) 十 2 V zt VAR)T (13.18) 
其 中 

Lm) = Vif Cr) + Da V h(t Rr) 
注意 到 =244htzt)->4*, 则 

了 (2 Vf) VIhr A = Lr*) (13.19) 

由 于 

VhOr VA) — VRCr VY hz' )T 
以 及 由 正则 性 知 VACx*)Vh(z") ”有 m 个 特征 值 大 于 零 , 有 nn 一 m 
个 特征 值 为 零 , 令 再 假定 (EP) 在 r* 处 满足 二 阶 充 分 条 件 , 即 由 
(13. 19) 所 定义 的 了 (xz ) 在 

kz 一 他 ER 天 ivVpz rd 一 0) 
上 为 正定 ,那么 由 (13.18) 可 以 推 得 当 久 >oo 时 ,Viqlyw;z*) 有 m 
个 特征 值 趋 于 正 无 穷 ,而 另外 的 # 一 m 个 特征 值 为 有 限 的 正 数 ,也 
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就 是 说 ,mm 越 大 ,Hesse 阵 越 接近 于 病态 ， 

求解 无 约 东 优化 问题 的 比较 理想 的 方法 为 第 十 一 章 所 述 的 一 
些 拟 Newton 法 , 而 这 类 方法 的 效率 强烈 地 依赖 于 Hesse 阵 的 性 
态 . 外 部 罚 函 数 法 的 脆弱 之 处 即 在 于 此 . 尽管 如 此 ,对 于 带 有 非 线 
性 约束 的 规划 问题 的 求解 ,外 部 罚 函 数 法 仍 不 失 为 一 个 有 效 的 方 
法 而 广 被 采用 ， 


$13.2 内 部 罚 丽 数 法 


1. 方 法 
对 于 问题 
(Pp) | min f(z) 
言 ; 其 中 了 是 S$ 上 的 连续 函数 ,自然 也 会 想到 是 否 能 从 约束 集 的 
内 部 去 逼近 (P) 的 解 . 为 使 方法 可 行 以 及 考虑 到 收 敏 性 ,我 们 对 集 
合 5 作 如 下 的 规定 : 
(DS 有 一 个 非 空 的 内 部 , 即 int 8 天 弛 ; 
{ii}cl int $=S. 
注意 ,ti 说 明了 SS 是 闭 的 ,上 且 六 中 的 点 可 由 其 内 部 的 点 来 通 近 ， 
今 在 int 8S 上 定义 一 个 连续 函数 BLz), 它 满足 
(DB(r)>0,Y rEint $3 
Gi)x 一 5 的 边界 时 , 恒 有 B(x) 一 十 0， 
定义 增 广 目标 函数 (其 中 A>0 为 参数 ) 
roar) = fz) 十 Bz) (13. 20) 
取 0 之 记 之 庙 之 ,上 且 Aceo ,求解 
| minr (p437) 13.21) 
记 解 为 xz*. 注意 ,(13. 21) 形 式 上 虽 是 约束 问题 ,但 因为 ~(miz) 对 
任意 的 ir>>0 在 8 的 边界 的 附近 可 以 任意 大 ,从 而 产生 屏障 , 故 在 
实际 计算 时 其 相当 于 一 个 无 约束 问题 . 在 迭代 开始 时 应 先 求 得 $ 
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的 一 个 内 点 , 即 zaEint S; 然 后 从 x" 出 发 求解 minr (Aiz》， 得 到 
ziEint 5, 如 此 等 等 ， 

内 部 罚 函 数 有 如 下 性 质 ,我 们 把 证 明 留 给 读者 . 

引 理 13. 7 设 求解 (3.21) 得 {x}, 则 


(DD) rasr rm rt )s (13. 22) 
(iiy Bl(z YBCrt!), (13. 23) 
(i f(r ) Fr )., 《13. 24) 


定理 13. 8( 内 部 罚 卫 数 闫 的 收 伍 人 性》 设 求解 (13. 21) 得 一 个 
无 穷 序 列 {z*}, 则 它 的 任 一 娟 点 都 是 (P) 的 解 . 

证 ”不妨 设 {zt} 本 身 收 化 ,上 且 zx: 一 元 ,由 于 wrEintS 及 S 为 
闭 , 故 ES. 

今 任 取 定 xEint S, 则 对 Y &, 有 


rasrt) = f(x) 十 让 Br) 


fz) 十 六 BCz) (13. 25) 


由 和 >0,B8(z) 关 0, 由 上 式 即 得 
Ga fz) 十 B(x) 


从 而 就 有 

fz) fz) 十 入 BCz) (13. 26) 
在 上 式 中 邻居 *oo, 得 

fF TEintS (13. 27) 


但 SS 中 的 任 一 点 都 可 由 int S 中 的 点 去 通 近 ,以 及 ff 在 S$S 上 是 连续 
的 , 故 由 (13. 27) 即 推 得 
fa) EF YTES (13. 28) 
由 开 ES， 上 试 表 上 朋 到 为 (P) 之 解 .证 毕 ， 
下 一 个 结论 亦 留 给 读者 证 明 . 
推论 13.9 设 规划 (13. 21) 产 生 了 一 个 无 穷 序 列 {z9) .车 了 
为 它 的 一 个 聚 点 , 则 z' 为 (P) 的 解 ; 且 


* 19S * 


(i) limf(2)=f(x" 7 

《ii fimr (jasz) = fr") 

ci) lm BC) =0. 

内 部 罚 函 数 法 可 用 于 求解 只 含有 不 等 式 约束 的 问题 ， 


(IP) min fx) 
其 中 
一 {zx EE Fg(r) 0,7 一 ls," p} 
假定 8i 连续 , 且 有 
int $ = {z EE Rg (rx) < 0,7 一 1 p} 

设 int 8 尖 弛 ,可 构造 B(x) 如 下 ， 

B(x) = >» 也 Te> 0 《13. 29) 

B(x) 一 一 Yinf gx)] 《13. 30) 

=1 
e 1 
B(x) = 之 max{0, — gCz)y (13. 31) 


容易 验证 ， (13. 29) 和 (13. 31) 都 满足 前 述 关 于 B(x}) 的 要 求 , 对 于 
(03.30),B(z) 不 满足 非 贷 性 ,但 由 其 所 构成 的 增 广 目标 函数 能 具 
有 以 上 一 切 性 质 , 这 可 从 下 上 段 的 假设 条 件 和 分 析 得 到 . 

设 


工 全 max max sup{— giT)} < oo (13. 32) 


再 定义 
p 
- Ber) 一 一 yn[ 二 Si 13. 33 
x) p37 i ] (13. 33) 


则 让 (x) 汪 0,Y xzEint 5S, 且 其 满足 前 述 关于 Btz) 的 要 求 ; 比 较 
(13.30) 有 可知, 由 (13.33) 所 定义 的 吾 (r) 其 对 应 于 求解 
(十 } - min f(x) 
号 。 t. BiCE) /LEO T= p 
于 是 ,(13. 30) 的 可 用 性 可 从 下 面 的 关系 看 出 ; (IP) 和 ( 征 ) 的 可 行 
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集 相 同 ,最 优 解 相同 ;它们 各 自 的 增 广 目标 函数 (分 别 关 于 (13. 30) 
和 (13.33) 的 ) 的 最 优 解 相同 . 

类 似 于 $13.1 的 第 2 部 分 可 研究 内 部 罚 函数 的 性 质 , 且 结论 很 
相似 ,不 歼 述 . 

例 13, 10 min 六 rr) 一 zys.t， 1—z0,XER. 

显然 ,z "一 1, 取 B(z) 
二 1/(z 一 1), 则 


(1x) 


二 工 , 1 
rps) 一 工 十 态 二 一 
利用 微分 法 知 


t=1+1/ Vm 


Fa =1+4 1 Vm 


Bzt) = V Am 
13.3 rmizt 一 工 十 27 V 
据 此 可 验证 前 面 的 结论 . 读者 可 参见 图 13. 3， 


2. 内 点 的 求法 


内 部 罚 函 数 法 要 求 先 找 出 一 个 内 点 , 这 就 提出 了 下 面 的 所 题 ， 
设 
intS= {rE Rg 0 一 1 四 天 好 
求 一 个 Eint 5. 

值得 一 所 的 是 ,寻找 内 点 的 问题 有 广泛 的 应 用 . 

利用 内 部 罚 函 数 的 思想 可 求 得 5 的 一 个 内 点 . 

算法 13. 11( 内 点 求法 之 一 ) 

步 0 任 取 xER' ,n>0,4:; 二 0 

步 1 定 出 指标 集 5 及 T;: 

5 一 (jgi(r) 0, j=1,",p} 
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Ti= {jg(T) 0 j=1,., p} 
步 2 车 $= 名 , 则 Eint 5S, 停 ;否则 
步 3 以 x* 为 初始 点 ,在 保持 对 集合 
R= {rE Rg (7) SE 0,7 € TT,} 


可 行 性 的 情况 下 ,求解 
。 1 
min mkz) 一 名 cc 一 pep pe 
得 最 优 解 zt+1E int R,, 其 中 


int R, = {zcE Rgi(x) 07 ET,)} 
步 4 取 jz 之 jurisk: 二 十 1, 返 步 1 
上 面 的 算法 可 在 有 限 步 内 求解 ,具体 地 说 ,有 
定理 13. 12 设 int $S 尖 艺 , 设 算法 之 步 3 总 有 解 , 设 十 ce， 
则 算法 必 在 有 限 步 内 终止 于 步 2. 
证 用 反 证 法 , 设 不 存在 为 ,使 得 8 二 名, 由 于 
{1， 力 } 之 9 之 之 SS 之 
所 以 必 存 在 如 ( 守 0) ,使 得 
$=5= S41“, (13. 34) 
今 取 定 如 各 int 5, 则 当 AN 有 
2481CT) pe pre e819) 和 pp Pre 
C13, 35) 


其 中 
= 们 AS 
由 今天 邹 ， 以 及 Ar 一 十 co 以 及 部 Eint S, 知 ,存在 所 > ,使 得 
D0 (13. 36) 


比较 (13. 35) 和 (13. 36) 同 时 利用 (13. 34) 知 ,对 此 起 > 帮 有 Sr= 
S, 从 而 


De <0 (13. 37) 
ES. 


1 
Hjer, BC) 
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另 一 方面 ,直接 由 Sx 和 Te 
Tg)— Hy (13. 38) 


jes Hr ET gil 
(13, 37) 和 (13, 387 是 矛盾 的 ,证 毕 . 
同样 , 受 外 部 罚 函 数 的 启发 ,我 们 也 有 
算法 13. 13( 内 点 求法 之 二 )》 
步 0 任 取 7o>1, 取 定 c>>1,: 一 03 
步 1 在 久 中 极 小 化 ptz)，, 其 中 


， 
和 (z) 一 > [max{0,7i 十 gy(X)},a>>0 国 定 
i=1 


得 最 优 解 +E R"; 
步 2 若 pPCz)=0, 则 Eint S, 停 ;否则 
步 3 iri! 二 Vi/cv 肯 :一 & 十 1， 返 步 1 
这 个 算法 的 有 限 步 收敛 性 的 证 明 很 简单 . 
定理 13. 14 设 int S 隆 多 , 设 步 1 中 minpr《z) 总 有 解 , 则 算法 


13. 13 必 在 有 限 步 内 终止 于 步 2. 
证 存在 六 >>0, 使 得 petx*)= 二 0 
二 存在 re>>0 及 zx, 使 得 max{0,re 十 gj(X)}= 二 0,j 二 1,*…, 记 
总 存在 >0 及 x, 使 i 十 gj(x) 委 0,j7 二 1 ,1 户 
gz 0 j=1 ,pp rEint 5. 


今 任 取 定 全 int 3， 记 
| i= min {— g/(y°)} (13. 39) 
1&j%p 
则 >0, 于 是 可 取 , 司 其 满足 
0<r=r/c 4 (13. 40) 
于 是 显然 有 


rs 十 if < A 十 giCYy') 起 0,J 一 二 yy 《13， 41) 
从 而 就 有 | 
0 所 minps() p(y) EO (13. 42) 

区 已 
这 说 明 态 (z) 一 0. 证 毕 ， 
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$13.3 人 恰当 蚤 函数 法 


前 面 所 述 的 两 种 罚 函 数 法 的 缺点 是 本 质 上 固有 的 , 随 着 参数 
Au 的 增 大 , 增 广 目标 画 数 的 Hesse 阵 会 变 成 病态 ,数值 计算 重 产 生 
困难 ,因此 导出 那 种 只 需 参 数 的 适当 前 值 的 条 件 或 方法 是 可 取 的 . 
本 节 和 下 节 就 是 解决 这 个 问题 的 . 

考 庶 如 下 的 问题 
《P) min f(z) 

St, gi(XT)EO0 7 一 1，…， 力 
rEC 

其 中 CCR ,fg 都 是 R* 上 的 函数 . 记 (P) 的 最 小 值 为 vtP)， 

定义 13.15 车 存 在 刀 之 0,7 二 1,.…,p, 使 得 


» 
rz) 十 Dg PPI YY TEC (13.43) 
f=1 


则 称 Fr 一 (Am Pi)7 为 (P) 的 一 个 Kuhn-Tucker 向 量 ， 
在 第 九 章 中 ,我 们 对 (P) 的 Kuhn-Tucker 向 重 的 存在 性 作 了 
较为 详尽 的 讨论 . 本 节 的 结果 可 以 看 作 那 里 的 研究 前 应 用 . 
对 于 (P) ,定义 一 个 函数 已,C-> 尺 ,其 满足 
PE(z) 320VYzEC 


13, 44) 
E(xr)=0 当 且 仅 当 g(x) 祥 0,7 一 losp ( 
这 样 的 函数 是 存在 的 ,例如 可 取石 (z) 为 
£ 
Dmax{0,g(2)} ,TEC (13. 45) 
了 1 


或 . 
pmax(lO gr tre) gCXI} YY TEC (13. 46) 
注意 在 C=R" 时 ,(13, 45) 就 是 外 部 罚 函 数 中 的 情况 1， 

再 考虑 如 下 的 单个 极 小 化 问题 
CP,) ming(zio) = f(x)+aEtzr) 

定义 13,16 车 存在 mw 之 0, 使 得 (P。) 的 解 都 是 CP) 的 解 , 则 说 
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$Cxy0) 为 (CP) 的 恰当 罚 隆 数 . 
记 《P,) 的 最 优 值 为 vCP.). 
引 理 13. 17 (i)v(P,) 关 于 a 是 单调 上 升 的 ， 
(ii) 著 三 是 CPi} 的 解 且 E(z) 二 0, 则 去 是 (P) 的 解 ， 
证 (DY aa<oy XEC, 由 (13.44) 之 第 一 式 ， 
fr) 十 和 下 (zz) fr) 十 Ex) 
于 是 就 有 


v(Ps) = ming(rsa) 
EC 


hrm TEC 
由 此 即 推 得 v(P- )<w(P。)， 
《i 首先 因为 EC(Z)=0, 故 由 (13. 44)? 之 第 二 式 及 工 为 (Pi) 的 
解 ( 这 表明 EO) 可 知 直 对 (P) 可 行 ;再 任 取 对 (PP) 可 行 的 x; 仍 由 
(13. 44) 知 ECx) 二 0, 从 而 
fx)= fr) + aE (rz) 
祁 min (zy 十 o 匹 (z) 
= f(3) aE) 
= f(z¥) 
证 毕 ， 
记 (P,) 的 最 优 解 集 为 X。 , 记 (P) 的 最 优 解 集 为 X" .下 一 个 定 
理 表 明了 恰当 罚 丽 数 的 存在 性 . 
定理 13. 18 设 (P.) 中 的 已 (Cz) 由 (13. 45) 或 (13. 46) 给 出 , 若 
P) 有 一 个 Kuhn-Tucker 向 重 , 则 存在 “之 0, 使 得 
KX 一 天 "acE (oo 十 co) 
证 . 设 w 是 (P) 的 一 个 Kuhn-Tucker 向 量 , 则 有 
z( 已) 处 f(r) 十 Vgx) 
Fr) + alsEC YY rEC 
记 2 一 |xli. 由 上 式 结合 引 理 13. 17() 便 得 
vCP)S oP;) Sv(P,) 
sup inf $x ;0) 
wz0 EC 
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< inf sup gray) 
zx€EC qz0 


= v(P),Y a € [ea, 十 co) (13. 47) 
上 面 的 最 后 的 等 式 是 直接 计算 出 来 的 . 从 而 上 上面 的 不 等 式 全 成 了 
等 式 , 于 是 有 
v(P) 一 DCPi) 一 VCPVaE [a, 十 co) (13.48) 
任 取 a>a; 设 主 EXt ,利用 (13.48) 得 
f (2) 十 alt) PvP) = uCPi) = f (2) 十 aE (Ft) 
比较 上 式 左右 得 巨 (2) 委 0, 结合 EE(4) 之 0 得 (+) 二 0, 再 结合 和 所 
又 < 利用 引 理 13. 17(i) 知 主义" , 故 有 ?和 芭 *. 
友之; 设 TEX'*. 先 有 
v(P) = sup $C" ;0) > $x° y0) 《13. 49》 
另 一 方面 又 有 
v(P:) = inf $x10) SBT? ;2) (13, 50) 
结合 (13. 48)~(13, 50) 知 上 两 式 中 的 不 等 号 实 为 等 号 , 故 
inf $x30) = $z* 0 
此 即 表 上 明 x" 扎 XX? . 故 苹 * 三 X# ,证 毕 . 
注 若 存 在 四 > 四 之 0 使 得 
v(P,) = vlP,) (13. 51) 
则 
v(Pe) = VPYY a€E La, 十 co) (13. 52) 
事实 上 ,由 引 理 13. 17{i) 及 {13. 51) 即 得 
v(Ps) = v (PY),Y a € [asos] 
今 任 取 > 二 . 则 存在 GE (0,1) 使 
o 一 Ma 十 《1 一 as 
从 而 也 有 
Pzs0) = Mrsa) + (IO— Vra) ,Vy rEC 
由 此 推 得 
vPa) Av(P) + (1 — vlP.) 
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再 结合 (13, 51) 及 AE (0,1) 由 上 式 推 得 "(P-.) 魏 "CP。). 再 由 引 理 
13. 17(i 知 vtPs) 之 2CP。) 从 而 wv(Ps) 二 wv(Ps,). 
根据 上 面 的 福 及 定理 13.18 可 得 如 下 的 算法 , 它 在 有 限 步 内 终 
止 于 步 2. 
算法 13. 19( 人 恰当 罚 函 数 法 ) 
设 (P) 有 一 个 Kubn-Tucker 向 量 , 且 设 (P) 的 最 优 值 有 限 . 设 
(P.) 中 的 E(z) 由 (13.45) 或 (13.46) 给 出 . 
， 瞧 0 任 取 c>>1，ao>0: 一 03 
步 1 求解 (P.); 
步 2 车 a 满足 
vPi) 一 WP, ) > 一 oo (13. 53) 
出 . 
车 CP。) 有 和 解 xz*, 则 zx* 为 (P) 的 解 ， 
车 (P。) 无 解 , 则 (CP) 无 解 . 
两 种 情况 都 表明 CP) 的 最 优 值 为 v(P。), 停 ;否则 ， 
步 3 mi: 一 cr 一 上 十 1, 返 步 1. 
对 于 一 般 情况 的 失 zro， 利 用 定理 13. 18 证 明 中 的 部 分 思路 
可 得 如 下 的 结论 . 我 们 把 证 明 留 给 读者 . 
定理 13. 20 设 X' 隆 2. 则 六 zr; 中 为 (P) 的 恰当 罚 函数 的 充 
要 条 件 为 ,存在 se 之 0 以 及 人 EC 使 得 
$sa) EESD EPTID YN oF 0 TEC (13.54) 
注 这 里 关于 恰当 罚 函 数 的 大 部 分 推导 取 自 [291. 其 它 有 关 
结果 可 参见 文献 [55,13]. 


8 13.4， 乘 子 法 


在 本 节 中 ,我 们 恒 甬 定 所 出 现 的 函数 在 R* 上 二 次 连续 可 微 . 
1. 等 式 约 束 的 情况 
考 碟 问题 
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(EP) . min f(x) 
s,t. h(xr)=0 
其 中 ZzER,hE Rr. 设 z' 是 (EP) 的 满足 二 阶 充分 条 件 的 解 , 即 存 
在 4 ER", 它 与 xz' 一 起 满足 
h(xz*)=0 (13. 55a) 
VAI) + Vhtr' A 一 0 (13, 55b) 
L(x") 在 M(z*) 上 正定 《13. 55c) 
其 中 
Lz) = V27z 4 VR A 
M(xr’)= {dE RVhr')Td = 0) 
VRCz) = (Vhr) ,er, Vh x)) 
VIh(r) = (Vih (rr) Yh Cx)) 
再 考虑 问题 
《(EP:-) imin f(z) +hCr)Ta’ 
8.t. hr)=0 
注意 ,(EP1* ) 与 (EP) 的 区 别 在 于 目标 函数 中 多 了 一 个 其 值 为 零 的 
项 h(x)"4" ,定义 (EP,*) 的 增 广 目 标 函 数 为 


H(zxsA’ ye) = fx) + hr)TA* + 三 PCz)7A(z) 《13. 56) 


其 中 < 为 实 参 数 , 五 在 zx" 处 的 梯度 和 Hesse 阵 分 别 为 
VaHlzx’ se) 一 Fr) Ther DA + cvVhir" hr) 
= VI) 十 ThE I 
一 0 (13. 57a) 
ViH(lr’ A ,= Le) cvh(tr')v htr' YT (13. 57b) 
我 们 贸 述 (13, 55c) 和 (13. 57b) 的 一 个 关系 . 
引 理 13.21 设 AE Rx",BE R"*". 则 对 每 个 满足 B74 二 0 的 
dad 关 0 都 成 立 着 d7A44d>0 的 充 要 条 件 是 :存在 一 个 c* >>0, 使 得 对 所 
有 ce 和 dz0, 有 
AteBB Yad>0 《13. 58) 
证 充分 性 显然 . 下 用 反 证 法 证 必要 性 . 
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车 存在 {ci} ,cr 一 co ,使 得 对 应 于 每 一 个 6 都 有 一 个 8, 使 得 
(d)T(A+ cBB Yd EO 《13, 59) 
不 妨 设 1 外 = 二 则 { 人 ?有 一 个 收 敏 子 列 ,不 芒 设 一 d. 于 是 就 有 
皮 |==1. 今 断言 B72=0. 不然 的 话 ,对 充分 大 的 有 (13, 59) 将 不 成 
立 , 同时 由 (13. 59) 又 得 (GD)74de<ss0, 从 而 又 有 
4 < 扫 0 (13. 60) 
此 式 及 B74 二 0,iai==1 便 与 必要 性 的 假设 条 件 矛 盾 . 证 毕 ， 
综 上 述 , 我 们 得 到 
定理 13.22 车 zx' 与 “一 起 满足 (EP) 的 局 部 极 小 的 二 阶 充 
分 条 件 , 则 存在 c' 之 0, 只 要 c 之 c? ,zx' 就 是 由 (13. 56) 所 定义 的 
吾 (z,4" ce) 的 在 Re 上 的 满足 二 阶 充分 条 忻 的 局 部 极 小 点 ;反之 ， 
车 存在 二 ,ce 满足 上 (cz) 一 0, 以 及 z" 是 无 约束 问题 


min H(zx,M,c) 
ER 

的 局 部 极 小 志 , 则 zx" 也 是 (EP) 的 局 部 极 小 点 ， 

在 实际 计算 时 ,4X* 和 co 是 不 知道 的 . 假定 我 们 已 估计 出 一 个 
co: 希 望 A” 由 一 些 迭 代 得 到 ， 先 给 定 久 , 求 解 minH Cz， 放 ,co) ,得 解 
工 扰 
z+. 由 一 阶 必要 条 忻 得 
| 0= VeH(r ,NR ,co) 


= Vf Th [RT co hm)] 13.61) 


下 一 步 的 迭代 则 求解 min H(z Mt! ,co) ;其 中 


er 二 让 十 co :有 h(xt) (13. 62) 
一 个 合适 的 算法 应 考虑 到 co 增加 的 可 能 性 ,以 及 x* 满足 约束 
hlz) 二 0 的 程度 , 我 们 描述 之 . 
算法 13. 23( 乘 子 法 ) 
步 0 任 选 人 ER”,co>0. 给 定 允 许 误 差 e 盖 0.K: 一 0 
步 1 求解 min ECz et) 得 解 x ， 


步 2 ”车 |Czo9| se, 停 , 刀 为 (CEP) 之 近似 解 ; 和 否则 
步 3 车 六 二 0, 则 久 T1 一 叉 十 < 下 (太一 上 1 返 步 1; 
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着 4] 且 刁 (z9| 空 忆 (z9 用 出 增 大 c( 例 如 ;一 10c,), 重 
解 步 1 中 之 规划 ， 

车 1 且 上 (Cx) 过 上 Cz 有, 则 Yt 二 久 十 cah (et) sk; 一 
由 十 1; 返 步 1. 

这 个 算法 具有 较 好 的 性 质 . 详 论 从 略 ， 


2. 含有 不 等 式 约束 的 情况 


将 上 节 的 结果 推广 到 本 节 只 需要 一 点 简单 的 技巧 . 并 且 , 从 以 

下 的 推导 来 看 ,我 们 仅 须 考虑 只 含有 不 等 式 约束 的 情况 ， 于 是 , 考 
处 问 题 
(IP) min f(x) 

s.t, gi(X)E0, j=1,2,.,p 
引进 新 变量 

z= (9 2 E Rr 

可 将 (IP) 化 为 等 价 的 
(IPY' min f(z) 

st gCT)T C2) =0,=1, ,pp 
其 对 应 的 增 广 Lagrange 函数 为 


的 
名 (zzypc) =f (xz) 十 Dlgslz) 十 《z7 2 
i=l 


+ Ea) 十 8) 013.63) 
台 关 于 zx,z 取 极 小 应 满足 一 阶 必要 条 件 ,特别 地 应 有 


= 2pi27 十 2eL ey) + Ca) es = 1 p (13.64) 
解 之 ,得 
: z=0 (13. 65a) 
或 


A 十 cig;Cz) 十 《2 72 一 [0 (13. 65b) 
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由 (13. 65b) 解 得 


《2))2 一 一 [py + cgiCz)] 《13. 66) 
结合 (13, 65a) 和 (13. 66) ,(z;)* 的 一 个 合适 的 取 法 为 
(2)* = Tmax(0, — [py + cgi(z)]} (13.67) 


将 (13. 67) 代 人 (13. 63) 以 消去 z, 得 
户 
GCCzpsc) = f(z) 十 > {[max{foym + cg:(7)}T — p08} 
三 1 


(13. 68) 
仿 (13. 62), 相 应 的 乘 子 迭代 式 可 以 计算 得 
M11= f+ cLpytr) + (2)*] 


= + og) + Tmax{0, — [LM + cg(2)]}| 


= max{0,d + cgtz sj = 113)p 《13. 69) 
(13.68) 和 (C13. 69) 就 是 对 含 不 等 式 约 东 的 规划 (IP) 构 造 匀 子 
法 算法 的 基础 ,读者 可 仿 算法 13. 23 完 成 相应 的 算法 ， 


习 是 


1, 对 $13.1 中 所 定义 的 (P) 和 gtsz) ,证 明 , 若 存在 ,使 得 
min q (pa 3 工 》 
zE 中 
的 解 zmE3S, 册 对 任意 反之 prming(ja4z) 的 解 都 是 (P) 的 解 
2. 证 明 推 论 13. 5. 
3,. 证 明 引 理 13. 7， 
4. 证 明 推论 13. 9. 
5. 试用 对 数理 内 部 员 函 数 法 求解 
min zi 2x 
8, t, — (z+ (za) 0, 
6. 对 问题 . 
| min zs.t. 1— zrER 
验证 定理 13. 18. 
“210， 


7, 用 腰子 法 求解 
min 寺 (z1+ D+ 


st， I 一] 之 0 ,zy 之 0 


8, 对 不 等 式 约 东 间 是 
(IPY) min fr) 
各, t, RX)E0, 7 一 1 sp 
通过 引进 变量 x 二 (zi,… ,zy@)7E R*, 可 特 其 化 为 等 价 的 


(IP)' min f(x) 
Bt, gi(T)—z/—0 
Ea 
了 一 1 让 


先 写 出 关于 (IP)' 的 具 洁 有 等 式 约束 的 增 广 阵 , 抽 写 出 此 增 广 阵 在 约束 条 件 
ZS017 二 1,…, 户 下 关于 zz 的 极 小 化 的 一 阶 必 村 条件, 由 此 和 导 坟 (13. 68) 和 
(13. 69). 

9. 对 mip 了 (7) ,定义 qtprzx)= 二 f(z) 十 uP{z), 其 中 Pz) 如 $13.1 中 所 
述 ,8 在 尼 中 连续 . 选 一 个 e>>0, 取 单词 增加 趋 于 十 oo 的 {j4} , 令 z+ 是 满足 


gpayT) SE min gz) 十 和 《13. 70) 
EW 


的 一 个 R 中 的 点 .证 明 , {zx*} 的 任 一 襄 点 去 满足 丈 ES, 且 
: f(z) < min f(r)+e (13.71) 
10. 外 部 罚 函 数 靶 和 内 部 罚 函 数 法 可 结合 使 用 . 对 问题 
(MP) min f(x) 
st, TESNT 
假定 P(x) 对 S,Btz) 对 工分 别 满 足 8$13,1 和 13.2 中 的 有 关 条 件 . 工 是 闭 
集 , 且 S 和 工 一 起 满足 


SNT= es f int T) (13, 72) 
考虑 
MKpiz) = fz) 十 Pt(z) + 去 B(x) (13, 73) 
令 { 和 a} 单 调 增加 ,是 1m 一 十 oo, 令 是 
min MO (13, 74) 
zimT 


的 解 , 若 在 玉 上 连续 , 则 
GD {2} 的 任 一 聚 点 都 是 (MP) 的 解 ， 
"21l" 


《ii) 设 zx" 为 {zz} 的 聚 点 , 则 . 
lim MCA) = fr") 


lim MP(z = 0 
,1 
lm Bz) 一 有 和 
11. 考虑 问题 
(Pw) min fr) 
a.t. gtTIE HIEC 
其 中 CCR ,gE R?,H 为 R* 中 孤 先 给 定 的 闭 集 . 定义 
$iayr) = Fx) 十 apfgfzr) HY) {13.75}) 
其 中 p 为 R? 中 的 某 个 昕 离 函 数 . 
CD 证 明 , 若 (Pa) 的 解 集 及" 非 空 , 则 $layz) 为 {Pw} 的 恰当 罚 画 数 的 充 
要 条 件 是 ,存在 地 EC,a20, 使 得 
$aF) EE $a) 扫黄 cz) oO ITEC (13.76) 
此 时 
X= Xr ,YaE (as 十 oo) (13.77) 
其 中 XX 表 min $asz) 的 解 集合 , 且 所 秒 及 的 解 都 是 全 局 性 的 ; 
{ii) 对 13. 3 中 的 (P) ,将 它 改写 为 (Pr 的 形式 + 
(ti) 指定 p 维 向 看 空间 中 的 一 个 距离 6, 对 8 13. 3 中 的 (P) 写 出 具体 的 
Plg(T) HY)., 
注 关于 (13.75) 中 的 不 24z) 为 (Pn) 的 怡 当 罚 函 数 的 另 一 个 充 要 条 件 
可 参见 [5]. 
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